Då biskop Neumann gjesta Ulvik og Sponheim i 1825, stod framleis dei gamle kjellarmurane, med rundboga vindaugo innramma av kleberstein; truleg murane under ei liknande storstove som Lagmannsstova på Aga. Det er det ikkje urimeleg å tenkja seg. På 1200- og 1300-talet sat det ei stormannsætt på Sponheim. Håkon Håkonssons saga fortel om Ogmund på Sponheim, som gjorde ei namngjeten Jorsalferd kring 1218. Peter på Sponheim, som er nemnd første gong i 1293, er nok den same Peter som vart riddar i 1301. Sønene til Peter fekk høge stillingar. Riddaren Bård Peterson vart jamvel kanslar hjå Håkon Magnusson.
Gjennom tidene har det spunne seg soger om at dei gamle murane på Sponheim var restar etter eit kloster. Det som også har halde liv i denne segna, er ein gravstein som låg i den gamle Ulvikkyrkja. Gravsteinen ber biletet av ei tilsløra kvinne liggjande på kne. I den eine handa held ho ei bok; med den andre peikar ho mot himmelen. Innskrifta fortel at her kviler Sigrid Reidarsdotter. Nonne var ho gjerne, men neppe abbedisse i eit gammalt spånheimskloster.