På slutten av 1700-talet var Kræmmerholmen mellom dei handelsstadene som hadde størst omsetnad i Nordhordland, først og fremst på grunn av fiskehandelen. Fedje var eit viktig fiskevær på kysten. Hit kom fiskarar frå vidt omkring i sesongane. Christopher Kahrs, ein av Bergens rikaste kjøpmenn, kjøpte Kræmmerholmen i 1799. I tillegg til sjølve handelsstaden åtte han heile Fedje, med 34 oppsitjarar og alle hus, dessutan Rongevær, Toftegård og handelsstaden Kjelstraumen i Austrheim.
Den gamle hovudbygningen på Kræmmerholmen er bygd på 1700-talet. Her var det stove, kjøkken og kammers for kjøpmannen, og ei krambu bygd til i vinkel. Søraust for hovudbygningen ligg tuftene etter ei stove med «prestekammers» og eit eldhus.
I 1842 kom det ny handelslov, og det vart slutt på dei privilegerte handelsstadene. Dei gjekk etter kvart over til å verta reine landhandlar. I 1880-åra tok handelen på Kræmmerhomen slutt. Den gamle gjestgjevarstaden og sjøhusa vart tidlegare open for publikum med restaurant og overnattingsstader, men er no i privat bruk.