Per una scala a sinistra, prima del transetto, si accede alla cripta che si apre sotto l'ampio presbiterio. Un ingresso esterno è situato sul fronte meridionale della chiesa, a livello stradale. La cripta risale al 1150 (L. Marziani). Il pavimento originale non ha traccia alcuna nell'attuale, che è di chianche calcaree locali e la cui messa in opera risale al 1897.

Dieci colonne di diversa epoca e pilastri addossati alle pareti sostengono le quindici crociere in cui si suddivide la cripta. I bellissimi capitelli, mutilati per la maggior parte, sono stati recentemente salvati dall'estrema rovina. Due ambienti quadrati fiancheggiano l'abside che si sviluppa in profondità verso est. A sinistra dell'altare, per chi si ponga di fronte, c'è la colonna più recente. E' del secolo scorso. L'altare, l'unico superstite, è detto dei Protomartiri, in quanto custodiva le reliquie di molti Santi. Attorno a questo altare si riunivano un tempo l'intero Capitolo Diocesano sotto la presidenza del Vescovo. Ancora più in là nel tempo, il Vescovo scendeva a confessare i canonici della diocesi (Giovinazzo, Terlizzi). Di qui l'antica denominazione de la confessione. Si ipotizza anche la identificazione della cripta con un luogo di sepoltura, onde il nome di Purgator