I ruderi del Paraxu, palazzo e residenza dei Marchesi di Clavesana, prima e del governatore di Genova poi, si trovano sul punto più alto del colle. L’ edificio costruito con conci di colombino biancogrigio, ha il carattere della fortezza, sia per quanto riguarda la posizione che per le sue caratteristiche costruttive, con le sue mura late da otto a nove metri sul piano di campagna e dallo spessore di oltre un metro, forate da poche finestre e molte feritoie.
La pianta ha la forma di esagono irregolare, il perimetro sviluppa la lunghezza di 100 metri mentre la superficie totale è di 700 mq. Si ipotizza che il nucleo più antico del Castello si formò intorno ad una torre di vedetta. Una torre romana per alcuni, ma più semplicemente una torre saracena, eretta a guardia della vallata contro le scorrerie dei pirati che, tra il IX e X secolo terrorizzavano tutta la costa, dalla Provenza alla Versilia.
I resti di questa antica torre si sono voluti riconoscere nel basamento quadrato che esiste all’interno del Paraxu. Del Castrum novo, ossia di quel castello costruito dai Clavesana e di cui si parla un documento del 1770 non esiste più nulla.
Per tutta la metà del XIII secolo i Clavesana cercarono disperatamente di opporsi all’avanzare della Repubblica di Genova,ma ogni sforzo fu vano.
Nel 1252 la repubblica di Genova, per mezzo di Porchetto Strigliaporci, acquistò da Emanuele e Francesco, Marchesi di Clavesana, il Castello il Borgo e territorio di Andora, per 5000 libbre, come appare da documenti del registro del Comune.
In quell’epoca in cui i Guelfi dominavano Genova e i Ghibellini esuli non perdevano occasione di attaccare le frazioni avversarie, il Castello di Andora fu assediato da forti contingenti Ghibellini. All’interno del castello si era insediata una guarnizione di genovesi. Il Vescovo di Albenga Emanuele Spinola , che parteggiava per i ghibellini , mentre si avvicinava con rinforzi per gli assedianti, fu attaccato dai nemici sulla spiaggia di Andora.
Il Castello fu preso d’assalto dai ghibellini nel 1302, riconquistato dai guelfi nel 1320 e distrutto 20 anni dopo nel 1340.
Nel corso del XV secolo vi fu una trasformazione radicale del Paraxu con la costruzione di una grossa caserma su due piani. Furono aperte due grandi finestre a sesto acuto, fu sistemato il portale d’ accesso decorato all’esterno da una ghiera di cotto e all’interno con motivi a stella e fiori, dipinti in rosso sull’intonaco dell’intradosso. Con l’affermarsi poi, di una relativa stabilità l’edificio fu completato con una vasta loggia d’ingresso e una caserma alloggiata al perimetro settentrionale per alloggiare forse la guarnigione. Intorno a questo che fu il maggior edificio della zona, si conserva ancora integralmente, intero impianto urbanistico del “castrum”, il tessuto dei sui isolati e delle sue strade medioevali dove si svolgeva la vita degli abitanti del borgo.
In tutto lo spazio interno alla cinta e anche nelle immediate adiacenze esterne, affiorano, in mezzo alle fasce olivate, ai rovi, all’edera, le rovine delle case medioevali (si pensa che fossero duecento) creando un paesaggio interessantissimo e unico nel suo genere.