Nel 1450, la Città de la Cava stipulò un accordo con i Frati Minori per costruire una Chiesa e un Convento, ma i lavori iniziarono solo nel 1492 a causa delle guerre tra Angioini e Aragonesi. Nel 1501, i frati presero il Convento, non ancora completato. L'Università Cavese si occupò delle spese, tassando i cittadini con gabella del vino e del pesce. 

Nel corso dei secoli, il Convento subì trasformazioni, ma il Chiostro mantenne la struttura originaria con affreschi raffiguranti la vita di San Francesco.  Nel 1700, ospitò l'Accademia dei Ravveduti, mentre nel 1799 subì danni dalle truppe francesi. Dopo le leggi di soppressione, nel 1867, i frati dovettero abbandonare definitivamente il Convento.  Nel 1868, divenne sede di un orfanotrofio femminile trasferito dal Conservatorio delle oblate di Santa Maria del Rifugio. 

Particolare fascino sui viaggiatori settecenteschi esercitava il giardino del Convento situato all’ingresso sud della città. Il Padre Guardiano Gerolamo da Napoli lo descrive nel 1692 e parla di tre appezzamenti che circondavano l’edificio, chiusi da muri, su terrazzamenti, con un’estensione di circa quattro moggia. La maggior parte del giardino era coltivata a frutteto e vigneti ed era circondato da una deliziosa selva di querce e castagni.

Dopo il terremoto del 1980 e il continuo vandalismo, il recente restauro ha preservato l'originario impianto, rispettando la vecchia distribuzione dei vari ambienti, come la scelta dei materiali, cotto, basalto, breccia irpina, marmo bianco è stata dettata da uno studio degli antichi materiali già presenti nel Convento. Attualmente, ospita la Galleria Comunale d'Arte, la  Sala Conferenze e quella musicale, il complesso è stato anche sede di un Ostello per la Gioventù e della Facoltà di Architettura dell'Università Federico II di Napoli.