I 1730-åra dreiv Nils Jacobsen Schanche ei kro i Skånevik utan løyve. Embetsmenn karakteriserte kroa som «ufornøden baade for almuen og Reisende, thi Reisende kommer der icke, og almuen har begaaet adskillige insolventier med drick og Slagsmaal i dette Kroehus». Frå 1785 dreiv Morten Rosendahl som kremmar og gjestgjevar i Skånevik. Det er truleg han som har bygt den noverande hovudbygningen, med eit symmetrisk grunnplan som vart vanleg i Bergen frå midten av 1700-talet. Utover 1800-talet hadde staden fleire eigarar. Ivar Aasen var losjerande på gjestgjevarstaden hos Nils Nilsen Sjøe i 1844, då han ei tid dreiv dialektstudiar i Sunnhordland.
Chr. Bjelland kjøpte heile gjestgjevaranlegget i 1908. No vart hovudbygningen nytta til internat for kvinnelege fabrikkarbeidarar. Huset har seinare gått under namnet «Tippehuset». Hermetikkfabrikken vart bygd på staden der sjøhuset med krambua stod.
Tippehuset kom meir og meir i forfall utover på 1900-talet. I 1979 vart stiftelsen Gjestgjevargarden skipa. Huset vart gjeve som gåve frå Norway Foods, og ei omfattande restaurering starta. I dag nyttast lokala mellom anna til kafe og konsertar.
