Hesthamar vart kjøpt til bustad for sorenskrivaren, kanskje for å få han meir sentralt plassert i Hardanger, kanskje for å sleppa å betala leige. Vanlegvis var det ein gard i offentleg eige – krongods – som vart utlagd til dette føremålet, og bygdefolket skulle betala leiga, den såkalla skrivartollen; eigentleg løna til sorenskrivaren. Men skrivartollen måtte dei betala like fullt, bøndene i Ullensvang, trass i denne investeringa, og dette vart årsak til ein årelang strid.
Ikkje alle sorenskrivarane budde på Hesthamar. Innimellom stod garden ledig og vart pakta bort, men i 1720 busette Jens Fabricius seg her og bygde nytt våningshus i 1723. Det er denne bygningen som står i dag. Fabricius´ etterfølgjar, J.S. Fleischer, som residerte på Hesthamar frå 1733-75, bygde truleg litt på denne bygningen og fekk meir rom på loftet. Kanskje er det han som sette ark på hovudfasaden. Det er 1700-talets stilar som pregar Hesthamar: dører og listeverk i regence og rokokko, til dels også av ein eldre barokktype; ein av dei mest autentiske gamle embetsgardane på Vestlandet. I 1775 overtok Søren Schelderup garden etter Fleischer, som kjøpte Grovendal på Voss og flytta dit i 1775. Schelderup heldt eit gjestfritt hus på Hesthamar, men etter hans død gjekk garden ut som embetsgard. Etter nesten 200 år, i 1970-åra, har staden fått attende litt av sin gamle status, mønstergyldig sett i stand av bergensfilosofen Arild Haaland (1919-2012).
