I Padri Agostiniani sono stati protagonisti delle vicende di questa chiesa.
Lì dove oggi è Piazza Vittorio Emanuele edificarono il loro primo concento nel XII secolo, come attestano le bolle degli arcivescovi baresi Matteo, Angelo e Rainaldo.

Distrutto per ragioni difensive, nel 1460 gli agostiniani lo ricostruirono poco distante dal primo, i luogo detto "Pescara". Abbattuto nel 1529 dal principe di Melfi, i padri lo vollero nuovamente eretto, ma questa volta a mezzo miglio circa dalla città, accanto ai ruderi della chiesa di S. Tommaso.
Nell visita di Mons. Briziano, infatti, il convento viene citato "in loco Santo Toma". Nel 1737, poi, gli agostiniani decisero di rifarlo in forma più ampia e grandiosa e, grazie all'impegno dei concittadini Felice Leoni ed Agostino Gioia, Padri Generali dell'Ordine, nello stesso anno diedero inizio ai lavori per l'attuale chiesa, progettata dall'architetto Barbi e proseguita da Giovanni Mastropasqua.
Verso la fine del '700, per difficoltà tecniche, l'architetto Mastropasqua dovette sospendere i lavori della fabbrica. Rimasta incompleta e ceduta a Demanio, finì per essere indecorosamente adibita a bovile.
Restituita agli Agostiniani, questi affidarono il completamento e la costruzione della cupola all'architetto Giuseppe Mastropasqua, figlio del detto Giovanni.
I lavori iniziarono nel 1829 e durarono cinque anni. Nel 1866, a seguito della soppressione dei monasteri, la chiesa ed il convento di S. Agostino passarono al Demanio con legge 7 luglio. Nel 1867 l'ex convento, la chiesa e l'annesso giardino furono ceduti dall'amministrazione del Fondo pel Culto al Comune. Agli inizi del sec. XX, la stessa chiesa, dall'Amministrazione Comunale, fu concessa in uso perpetuo alla Parrocchia di S. Domenico. Nel 1937 il vescovo Achille Salvucci stabilì che due viceparroci i S. Domenico si alternassero ogni quindici giorni, nella cura della chiesa di S. Agostino. Finalmente nel 1949, il sacerdote don Nicola Melone divenne Parroco, anche se di una parrocchia soltanto canonicamente eretta.