Wenn man die Halle vom Treppenturm betritt, der alle Stockwerke verbindet, wird man von
niemand geringerem als Christian den 4ten begrüßt.

Die Geschichte von Broholm ist seit 1326 mit Sicherheit bekannt, als der Urenkel von Esbern Snare. Absalon Johnsen aus der Familie Ulfeldt, Schlossherr von Broholm wurde. Seine Nachkommen konnten sich bis 1473 Eigentümer nennen. Nachdem mehrere Generationen der Familie Ulfeldt das Schloss bewohnt hatten, u.a. Während der gräflichen Auseinandersetzungen auch Dänemarks letzter Bürgerkrieg genannt (1533-36). In der viele alte Burgen dem Erdboden gleichgemacht wurden. Broholm hat diesen Streit jedoch dank seiner breiten Wassergräben gut überstanden. 1641 kaufte Otto Skeel die damalige Burg.

Das war das erste Mal, dass Broholm durch einen Kauf erworben wurde, und mit ihm Skeel endet Broholms mittelalterliche Ära. Er reißt das verfallene Schloss ab und errichtet das jetzige Hauptgebäude, als eines der letzten spätgotischen Bauwerke des Landes. Allerdings mit starken Renaissancemerkmalen in Form eines Treppenturms und symmetrischer Fensteranordnung.

1730 entstand die Familie Sehested durch die Heirat von Niels Sehested mit Elisabeth Skeel.

In Mitte des 18. Jahrhunderts wurde das Langhaus, in dem sich das Restaurant befindet. Als Ersatz für ein Fachwerkhaus gebaut. Der Eckturm wurde 1839-40 für astronomische Beobachtungen errichtet. Gleichzeitig bekamen die Häuser Zackengiebel. 1839 übernahm Niels Frederik Bernhard Sehested Broholm. 1833 war er Zeuge der Entdeckung der “Broholmskatten”, des zweitgrößten dänischen Goldschatzes, aus der Eisenzeit, und von da an begann sein Interesse an Archäologie. 1878 wurde das heutige Museumsgebäude nach seinen eigenen Zeichnungen für die Ausstellung seiner Feuersteinsammlung von über 70.000 Stücken und anderen Funden aus Broholms Ländereien gebaut.

1905 wurde der letzte Langbau errichtet, in dem befindet sich die Bibliothek . Im Juni 1952 brannten der damalige Pferde-, Kuhstall und die Scheune nieder. Sie hatte drei Stockwerke. Im Erdgeschoss befanden sich die Ställe, der Kuhstall und die Scheune. Im ersten Stock wurden Heu und Stroh für die Pferde gelagert und im zweiten Stock befand sich ein Getreidespeicher. Es wurde aus rotem Backstein mit einem Strohdach gebaut. Heute sind nur noch das Erdgeschoss des Pferdestalls und die Mauern von Kuhstall und der Scheune erhalten.

Im Jahr 2002 wurde das Schloss einer umfassenden Restaurierung unterzogen und wurde für Gäste zugänglich. Heute ist Schloss Broholm im Besitz von Anders Sehested, sozusagen in der 13. Generation der Familie. Das Schloss ist an Kenneth Birler verpachtet und wird als Hotel und Restaurant geführt.