La Torre del Castello di Andora sarebbe stata edificata qualche decennio prima della Chiesa dei SS. Giacomo e Filippo ad essa attigua: eretta con la stessa calda pietra di Capo Mele, in forme romanico – gotiche forse dalle stesse esperte maestranze che erano addette contemporaneamente alla costruzione della Cattedrale di Albenga, essa si staglia con tutta la sua maestosità a difesa della Porta Nord del Castello e quale torre campanaria.
La parta alta con gli otto merli ghibellini, mostra i segni di una ricostruzione molto più modesta quando ormai l’arte dei scalpellini del Duecento aveva cessato di esistere e la muratura diventava grezza e riceveva già l’intonaco.
Un disegno del 1883 di D’Andrade tratto da un acquarello di F. Musso del 1835, mostra l’esistenza di un corpo di collegamento tra la Torre e la Chiesa che venne poi demolito. Nel 1964 il Comune di Andora, grazie ad un contributo del Ministero dell’ Interno e all’interessamento della Soprintendenza, ha provveduto alla conservazione della Torre, intervenendo sulla la sommità lesionata e pericolante, liberandola dalla folta vegetazione e dalle macerie che si erano accumulate alla base della torre. La pulizia generale del monumento ha permesso di mettere in miglior luce la magnifica porta d’entrata al Castello che forma doppio arco sotto la Torre, consolidando l’affresco del quattrocento (la Vergine col Bambino) che l’adorna internamente, ma anche di aprire l’arco laterale a tutto sesto che dava luce o accesso all’ambiente, verso il piazzale della Chiesa attigua.