Bakholmen har truleg vore gjestgjevarstad heilt sidan mellomalderen. På 1600-talet høyrer vi om ein gjestgjevar her med namnet «Mikkel i Bakholmen». Kremmarverksemd har det vore drive sidan tidleg på 1600-talet, med handelsprivilegium så tidleg som 1714. Då vart handelen flytta hit frå Bakkasund.
Michael Olrich frå Holland tok borgarskap i Bergen i 1697, og den mektige Olrich-ætta «residerte» på Bakholmen fram til 1760-åra. Dei åtte mellom anna handelsstadene på Hiskjo i Bømlo og Kvalvåg, som den gong høyrde til Fitjar og Våg skipreide, og ein stor part i Austevoll-kyrkja. Lysekrona, som i dag heng i kyrkja på Storebø, var i si tid ei gåve frå Maren Olrich.
Tingstova vitnar om at Bakholmen frå gammalt av har vore ein sentral stad i denne øykommunen. Då Austevoll vart eigen kommune i 1886, vart tingstova i Bakholmen fast møtestad for heradsstyret og andre kommunale nemnder, og slik var det like fram til 1964. Her var det også bank og rutebåtsamband.
Etter 1964 har det ikkje vore aktivitet på Bakholmen, men bygningane på den gamle gjestgjevarstaden, handelsstaden og tingstaden er godt tekne vare på.
