Halsnøy kloster vart truleg grunnlagt i 1163-64 av Erling Skakke, etter kroninga av sonen Magnus: «Udi samme kronelse lovede Erling Skakke, kongens fader, at bygge sin søn til bønerhold Halsnø kloster, sancto Augustino til lov og ære» (Bergens Fundats 1580). Om Erling gav grunn til klosteret frå eige gods eller frå kongens, veit vi ikkje, men det må ha lege ein stor og god gard her før klosteret vart grunnlagt.
Dei som heldt til i dette augustinarklosteret var ikkje munkar i eigentleg forstand, men prestar som vart kalla regulære kannikar eller korbrør. Truleg var det ikkje fleire enn 13 korbrør i klosteret. I tillegg kom tenestefolk og andre som hadde ansvar for klosterdrifta.
Halsnøy vart eitt av våre største og viktigaste kloster i mellomalderen. Det hadde store jordeigedomar på Vestlandet, dei fleste i Sunnhordland og nordre del av Ryfylke. Kring 1300 vart klosteranlegget ombygt og utvida, og slik stod anlegget heilt fram til reformasjonen. Då byrja forfallet; klosteret hadde vorte ein adeleg setegard med vekslande eigarar. I 1630-åra fekk Erik Ottesen til Orning på Stord løyve frå kongen til å ta 400 stein frå kyrkjeruinane for å utbetra dei andre bygningane.
