Den vakre hovudbygningen er truleg oppført i åra 1660-65, etter at Ludvig Rosenkrantz hadde overteke setegarden på Hatteberg. Karen og Ludvig fekk Hatteberg i bryllaupsgåve. Her bygde dei sitt staselege steinslott, ein luksus i norsk samanheng. Midt i muren står ein ruvande barokkportal med våpenskjolda til familiane Rosenkrantz og Mowatt og innskrifta: «Melius Mori In Libertate Quam Vivere In Servitute 1665» («Betre å døy i fridom enn å leva i trældom»). Toppstykket med våpenskjolda har innskrifta «WB. Ludwich Rosenkrantz Fr. Karren Movath». Ein litt enklare portal innrammar hovudinngangen på sørfløyen på motsett side med innskrifta: «Wer Gott vertrawet hat wol Gebauwet. Anno 1662».
Bygningen er bygd i stein, med klebersteinshjørne og portalar av sandstein.
Etter tradisjonen skal ein del av steinen vera henta frå det mellomalderlege gardskapellet på Mel, og skotske murarar skal ha stått for arbeidet. Sandsteinsportalane må derimot vera hogne av danske eller nordtyske handverkarar og eksportert til Rosendal i ferdig stand.
Det utsvaia valmtaket hadde tidlegare form av eit knappare valmtak utan svai, tekt med raud tegl, slik vi ser det på Hans Sagers måleri frå 1705.
Hagen vart sannsynlegvis opparbeidd like etter at hovudbygningen vart reist. På Sagers måleri ser vi ein inngjerda renessansehage med «hagehus» på vestsida av borga.
Landskapsparken vart vidare utforma i tre trinn frå omlag 1850 til 1870-åra. Sørvest for den gamle hagen vart dei gamle husa på garden Hatteberg rivne, og det vart planta tre og buskar. Berre smia står att, ved inngangen til parken.
I neste trinn vart det skapt ein romantisk naturhage, med dammar og bruer, sør for hovudbygningen. I sentrum av hagen vart det murt eit lysthus på ein liten holme.
Tredje trinn var utforminga av parken aust for borga. I 1870-åra vart det anlagt ein naturpark med bøk- og nåletre.
Interiøret er rikhaldig og i sjeldsynt grad autentisk. Her er rom med franske tekstiltapet frå 1600-talet, bergenske empiremøblar og ei stor målerisamling med hovudvekt på nasjonalromantikken.
