Stolmen har alle dagar vore eit typisk fiskarsamfunn, og det har budd etter måten mykje folk på øya. Det var dei fastbuande fiskarane som la grunnlaget for handelsverksemda i Kvalvåg. Fiske, fiskemottak og sildesalting var viktige delar av verksemda.
I glansperiodane kring 1740, 1830 og 1910 var det stor byggjeaktivitet, og særleg mot slutten av 1800-talet var optimismen stor. Det vart bygd eit stort trelastlager og nye kaiar, og Kvalvåg fekk dampbåtekspedisjon. Den nye Møkstrakyrkja i 1892 vart også bygd her. Fram til 1980-åra var det handel, post, fiskemottak og rutebåtekspedisjon i Kvalvåg. Det er i dag ei eiga stifting i Bergen Seilforening som eig og brukar den gamle hovudbygningen, ein 1800-tals bygning like ved kyrkja. Eit omfattande restaureringsarbeid har på ny gjort Kvalvåg til eit senter og ein overnattingsstad; men no for segling, sjøsport og opplevingsturisme i Nordsjøløypa.