Kirken har vært et landemerke for sjøfarere som har reist gjennom Karmsundet de siste 750 årene. Kong Håkon Håkonsson ga tillatelse til å bygge en kirke her rundt 1250. Den var ikke ferdig før 1320, og var den gangen den fjerde største i landet. Kirken ble viet til St. Olav og fikk tittelen Kongelig Kapell av Håkon Magnusson. I den samme perioden ble den én av fire kirker der det ble drevet undervisning, og den hadde en gruppe lærere innen juridiske og teologiske fag. Derfor hadde den også trolig fire prester. Den kan derfor også ha hatt et åttekantet kapittelhus i stein i tilknytning til koret. Dette er nevnt av Peder Claussøn Friis i 1599. Murene skal ha vært synlige så sent som i 1840, men er nå forsvunnet. Kapittelhus er vanlige i de store engelske katedralene.