L’esistenza del castello di Caletrum è accertata intorno alla metà XIII secolo da documenti riferiti ad alcuni interventi di riparazione eseguiti nell’ambito del programma federiciano di rafforzamento e adeguamento delle strutture difensive appartenenti al demanio imperiale. Dall’occupazione Angioina il Castrum di Calitri rientrava tra i circa quaranta castelli agibili esistenti nel giustizierato del Principato e Terra Beneventana. Ne mantenne il possesso per 3 secoli la famiglia dei Gesualdo, che lo acquistò nel 1304; appartenne ai Ludovisi per un breve periodo, nel XVII secolo, passò infine ai Mirelli nel 1676, che detennero il dominio dell’intero feudo fino al 1806.

Con il susseguirsi di innumerevoli eventi sismici, nell’arco di quasi un millennio, il castello ha subito continue e ripetute trasformazioni dovute a crolli, ristrutturazioni e ampliamenti, fino al grande terremoto del 1694 che determinò l’abbandono dei ruderi dell’edificio. DIventa in un breve volgere di anni, tra la fine del XVII e e la metà del XVIII secolo, un popoloso borgo contadino edificato sui resti delle vecchie fabbriche medioevali, riutilizzandone le parti murarie residue con audaci recuperi strutturali e il riuso dei materiali e determinando in effetti nuovi spazi edilizi ed urbani fortificato sulla cima della collina, lasciando così il sito e l’intera area ad uso di cava a cielo aperto con grandi accumuli di macerie e materiali di vario genere.