Garden Kvalvågen er nemnd tidleg i skriftlege kjelder. I eit brev frå 1528 er skriveforma Hvalswogh. Namnet fortel sjølvsagt at det har gått «kval i våg» her i gammal tid. Husa på Kvalvåg skal etter tradisjonen vera bygde av Danckert Heiberg (1735-1795). Han kom til garden i 1773 og innførte namnet Toftegård. Heiberg åtte mange gardar, mellom andre Fedje og Kilstraumen. Desse selde han til Christopher Kahrs i 1799. Kahrs busette seg på Toftegård og pakta vekk dei andre eigedommane. I 1838 tok sonen Christ Kahrs opp handel i Kvalvågen, men kjeldene fortel at Kvalvågen er ein av dei eldste handelsstadene i Nordhordland.
På Toftegård var det også ein bøkkarverkstad. I siste halvdel av 1800-talet vart det bygt ei mølle i Kvalvågstraumen, driven av tidevatnet. Mølla vart bygd av steinheller frå den hellelagde vegen ned til sjøen. Det står enno restar etter mølla, men av den gamle busetnaden på Toftegård er det meste borte. I 1830-åra var det husjomfru og huslærar på Toftegård, 3 tenestejenter og 3 drenger, og 6 husmenn hadde vanleg pliktarbeid på garden. På nordsida av tunet var det ein karussedam og nede ved sjøen ein fiskedam, slik at det alltid var fersk fisk på bordet. Kvar vår og haust var det tingsete her, med sorenskrivaren for Nordhordland i spissen.
I alléen frå hovudhuset og ned til bryggja var det planta tresortar som osp, eik, rogn og bjørk. Våningshuset, ein stor einetasjes kvitmåla bygning med ark og loft, låg vakkert til, med utsyn både mot sør og nord. Vest for våningshuset låg Tingstova; ein større bygning som også inneheldt handelsbu, bakeri, bryggjarhus og drengestove. På austsida stod det såkalla «Småhuset»; ein liten einetasjes bygning som vart nytta til kontor av dei som var skrivarar for lensmannen og sorenskrivaren under tingmøta.