Fu edificato nel 1474 a spese di Carlo Sanseverino, conte di Mileto, come prova l'epitome degli annali dell'ordine di S. Francesco, che dice: «Carlo Sanseverino, conte di Mileto, durante questo tempo (1474), intraprese la corruzione di un altro convento di S. Antonio (II nel proprio feudo), e in breve lo condusse a termine nella cittą della punta, volgarmente del Pizzo, diocesi di Mileto». Il Tranquillo asserisce che nello stesso sito esisteva una cappella, attigua ad un famoso palazzo di caccia fatto costruire verso il 1074 da Ruggero Guiscardo Normanno, gran conte di Calabria e di Puglia, allorché dimorava nella reggia di Mileto. In predetta cappella pregņ S. Antonio di Padova, quando nel 1221 risaliva la penisola proveniente dalla Sicilia per recarsi ad Assisi e partecipare al "Capitolo delle stuoie" che in quella cittą si teneva per la Pentecoste di quell'anno.
Una lapide marmorea, posta mezzo secolo fa, ricorda la tappa a Pizzo del santo di padova ed č sistemata ai piedi di una croce di ferro situata al terminale nord-est dei ruderi perimetrali che testimoniano la grandezza dell'antico convento distrutto dal terremoto del 1783. Gli arredamenti sacri furono incamerati per la maggior parte dalla chiesa matrice. Il 13 giugno di ogni anno, in una chiesina costruita a ridosso di un rudere del convento, si celebra la processione di S. Antonio cosi come avveniva nei secoli andati quando rullava il tamburo ed il sindaco dei nobili, con lo stendardo comunale, seguito da una moltitudine di popolo, si recava al castello per farsi consegnare la bandiera e depositarla per quel giorno, in segno di devozione, in detto convento.