Pro rokokový nový zámek vystavěný v letech 1774–1777 bylo vybráno místo na svahu pod starým zámkem (postupně přestavovaným od 15. století). Sklon svahu poskytoval možnost vybudovat efektní terasovitý čestný dvůr, jakož i ornamentálně řešený rokokový park, v němž dochovaný kruhový altán byl budován současně se zahradou po r. 1791. Rozlehlé nádvoří bylo r. 1778 obestavěno přízemními hospodářskými úřednickými budovami, r. 1779 byl přistaven špýchar a v západním křídle zámku byla vystavěna zámecká kaple, jejíž hlavní oltář vyřezal r. 1777 řezbář J. J. Procházka. Realizovaný projekt tohoto rokokového zámku se složitě komponovaným průčelím a dvakrát odstupňovanými rizality po stranách a přebohatou reliéfní štukovou a kamennou sochařskou výzdobou je přisuzován majiteli panství Janu Antonínovi Harbuval Chamaré, který měl výtvarné ambice. Jistá je spoluúčast tyrolského architekta Josefa Jägra, činného po r. 1770 v Praze.
 

Přesná podoba původní zahrady není známa, nicméně dosud je zachována osově pravidelná dispozice základních teras. Jejich poslední úpravu provedl v letech 1936–1937 architekt Fierlinger, který restauroval pro tehdejšího majitele celý zámek. Na pravidelný parter navazoval anglický park, který pokrýval celý pahorek s původním hradem (ten byl rozebrán a materiál použit na stavbu zámku). Nedílnou součástí parku byla i dosud zachovalá křížová cesta z r. 1767, která vedla od kostela sv. Jakuba Většího k bývalému starému zámku. Směrem z náměstíčka je zahradní areál ukončen uměle vybudovanými rybníky, napájenými Novohradským potokem.