Die Ursprünge des Schlossgebäudes in Liebenberg liegen wahrscheinlich mehr als 500 Jahre zurück. Im Jahr 1460 verkaufte das Bistum Brandenburg das Ländchen Löwenberg einschließlich Liebenberg an die prominente märkische Familie von Bredow. Nach dem Ende des Dreißigjährigen Krieges kaufte 1652 der aus Kleve stammende preußische Oberjägermeister Jobst Gerhard von und zu Hertefeld (1594–1659) das Anwesen Liebenberg mit zwei Häusern.

Archäologische Befunde lassen darauf schließen, dass schon damals ein festes Gebäude am Platz des Südtraktes stand. Teile von dessen Kellergewölbe stammen somit möglicherweise noch aus der Bredow-Zeit. Zwischen 1743 und 1747 wurde das erste eingeschossige Herrenhaus gebaut. Nach dem Ende der Napoleonischen Kriege 1815 führte Karl Adolf Freiherr von und zu Hertefeld (1794–1867) das Anwesen zu neuer Blüte.

Er errichtete an Stelle des ersten Baues 1833/1834 ein größeres Herrenhaus. Er blieb kinderlos und vererbte die Liebenberger Besitzungen seiner Großnichte, die mit dem ostpreußischen Grafen Philipp Conrad zu Eulenburg (1820–1889) verheiratet war. Dieser erweiterte um 1875 das Herrenhaus um einen Saalflügel mit Treppenturm und parkseitiger Terrasse. Diese Erweiterung verlieh dem Gebäudekomplex erstmals einen Schlosscharakter. Sein Sohn Philipp (1847–1921), enger Freund und Berater von Kaiser Wilhelm II., ergänzte die Schlossanlage um zahlreiche repräsentative Bauten in historisierendem Stil. Es entstand unter anderem eine Kapelle in Verlängerung des Saalflügels und ein zur Kirche hin abzweigender Hofriegel.