Saman med mellom anna Hardangerjøkulen og Hallingskarvet er Hårteigen ein rest av eit skyvedekke med gneis. Elles på vidda er skyvedekka for det meste tærte bort – det som no er vekke, vart skylt ut i Nordsjøen av elvar og isbrear.
Under skyvedekkebergartane ligg fyllitt som stammar frå kambrosilurtida, og som kviler på grunnfjellet. Fyllitten kjem fram i dagen rundt foten av fjellet. Han inneheld kalkrike lag, med fossil av dyr som levde for 470–464 millionar år sidan. Både trilobittar og graptolittar er funne ved Grytenuten, nær Hårteigen. Desse dyra levde på leirbotnen i eit forhistorisk hav. Etter kvart som dei døydde, vart dei dekte av tjukke lag med slam og leire – som foreviga forma på dyra.
Gneisane i skyvedekka utgjer det meste av sjølve Hårteigen. Dekka kom på plass då Grønland og Noreg kolliderte. Svære bergflak av gneis vart skvisa bort frå kollisjonssona og sklei over leira der fossila låg. Det er mest som eit under at dei veldige kreftene, som flytta fleire kilometer tjukke berglag, ikkje øydela alle fossila.
Flaka kom frå nordvest. Då dei stogga, hadde dei truleg lagt bak seg fleire hundre kilometer. Geologane meiner reisa starta i havområda vest for Sogn og Fjordane eller Sunnmøre, men nokon nøyaktig opphavsstad er det ikkje mogleg å peika ut.