Frå kring 1850 til siste verdskrigen var Fitjar storleverandør av poteter til Bergen. Både jorda og klimaet eigna seg godt til potetdyrking. Steinrik jord lagrar varmen frå vårsola. Fitjarpotetene kom derfor relativt tidleg på torget i Bergen. Dei vart dyrka i nesten heile kommunen, på morenejorda rundt Fitjarvika og i Øvrebygda rundt den nordlege delen av Storavatnet, og på forvitringsjorda heilt nord i kommunen (Osterneset). Sjølv myrjorda ute i Fitjarøyane bar poteter til Bergensmarknaden. Også mange andre bygder i ytre Sunnhordland tok del i potetdyrkinga. Etter andre verdskrigen tok denne spesielle produksjonen og transporten med båtar tilpassa potetfrakt likevel slutt. Skøyter med større lastekapasitet vann innpass, og storprodusentar lenger sør overtok marknaden.
Men kvifor er det så mykje steinrik jord i Fitjar? I kuldebolken mot slutten av den siste istida for mest 15 000 år sidan rykte breen fram mot Fitjar, der fronten vart liggjande ei tid. Breen la då etter seg store morenemassar med mykje stein rundt Storavatnet og Rimbareid. Ei stund låg breranda i det som no er Storavatnet, og gjorde truleg fleire framstøytar mot Vestbøstad og Fitjarsjøen.Det ligg òg morenejord eit stykke oppetter liene søraust for Fitjar. Her gir morenejorda godt vekstgrunnlag for skogen. Øvre grense for denne steinrike skogbotnen stig sørover og markerer truleg ein sidemorene frå breframstøyten.
I Fitjar var det høgaste havnivået etter istida (marin grense) 44 meter over sjøen i dag. Det er bestemt ut frå ein strandvoll som bølgjene kasta opp på staden som har fått namnet Vollen. Bitar av knuste blåskjel og haneskjel funne i leirhaldig morene ovanfor Breivika er daterte til å vera om lag 15 000 år gamle. Det viser at her levde skjel på sjøbotnen like før breen rykte fram. Dette er av dei eldste skjela som er funne frå slutten av den siste istida i Hordaland. Når ein grev i jorda, til dømes nord for Vestbøstad, kan det framleis dukka opp skjel frå denne tida.
Nydyrka areal er det mykje av i kommunen, men det store steininnhaldet i morenen gjer det arbeidsamt å få til ei god eng. Sør for Storavatnet, ved Tislavoll og Rydland, blir myrjorda dyrka i søkka, slik som rundt dei tre tjørnene sør for Rydland. I skråningane vil ein dyrka morenejorda.