Det var rike vårtorskeår i førre hundreåret utanfor Øygarden. Tradisjonen fortel om «idnåtfjordingane» som sto opp kl. 3 om natta for å vera på plass før sola rann. Og heile dagen, medan dei venta på å trekkja, måtte dei klara seg utan mat! Mange tok inn hjå slekt og vener, men mange sette seg opp eigne rorbuer, eller «fjæremannshus». Dette var små tømra hus tekte med never og torv. Bua hadde to rom: eit framrom – skot – der dei hadde brensel, kaggar og tønner til å salta heimfisken i, og rom for klede og utstyr. Stova var både opphaldsrom og soverom, med kokeomn, langbord og benker. På båe langveggene var det briskar i tre høgder. Her heldt det til eit båtlag, oftast 6 mann. I 1840-åra stod det over 20 slike fjæremannshus på Herdlevær og Skogsøy, men det har tidlegare stått mange fleire. Namnet på fjæremannshusa kjem av det gamalnorske «fjarđmadr» – fjordmann : ein person som har sin heim i ein fjord.
Eit fjellres på Herdlevær ber enno namnet Kartveitfjellet. I livd av dette hadde fiskelag frå Kartveit i Manger sine fjæremannshus. Her var det fin sandfjøre og lett å dra båtane opp når det bles opp til storm. Lenger sør på øya hadde Skjeljanger og Husebø sine hus, og i Skogsøy stod Toskehusa – fjæremannshusa til folk frå Toska og Manger.
Granskingar frå seinare år viser at denne tradisjonen truleg går heilt attende til forhistorisk tid.
