Perfettamente allineato con i castelli di Montjovet (Chenal) e di Ussel, sfruttando i tre punti più elevati della valle d’Ayas, il castello di Cly domina, dalla parte dell’ingresso, ampi prati in declivio verso i monti. Pare che sia proprio per questa caratteristica che il castello ha preso il nome di Cly, tramite le espressioni de clito e clivo.

Il castello di Cly fa parte della tipologia di castelli valdostani di tipo primitivo, costituiti da un massiccio donjon centrale circondato da un'ampia cinta muraria, che racchiudeva al suo interno, oltre al mastio, anche una serie di altri edifici. Nel caso di Cly la cinta muraria, ancora conservata quasi interamente, era sovrastata da una merlatura e racchiudeva un'area di circa 2800 m2. 

La parte occidentale è sempre stata priva di edifici ed era costituita da una spianata dove la popolazione locale poteva rifugiarsi in caso di attacco nemico. L'area a sud est ospitava invece le costruzioni, edificate in epoche diverse tra l'XI e il XIV secolo, tra cui la massiccia torre centrale, la cappella, le cucine, le stalle, il corpo di guardia e l'abitazione del castellano. Nell'angolo di nord ovest è possibile notare i resti di una torre sotto la quale si trovava una cisterna sotterranea per la raccolta dell'acqua, intonacata in cocciopesto per renderla impermeabile.

L'edificio più imponente del castello era sicuramente il mastio, la massiccia torre centrale. Era costituito da un donjon a pianta quadrata di circa 9,40 x 9 metri di lato e alta 18 metri, costruita sopra la roccia viva in modo da offrire una maggiore resistenza in caso di attacco tramite mine (che consistevano nello scavare un piccolo tunnel sotto le fondamenta della torre e nel farlo collassare all'improvviso). 

La torre era verticalmente divisa in tre piani sovrastanti, e l'accesso era posto ad alcuni metri di altezza dal suolo, una soluzione difensiva che è possibile notare anche nei donjon di molti altri castelli dell'epoca, tra cui Graines e Châtelard. Inizialmente per accedere alla torre veniva usata una scala a pioli in legno, in seguito sostituita da una scala in pietra sorretta da un arco rampante, ormai crollata. Nel corso degli anni la torre deve avere subito alcuni rimaneggiamenti, come dimostrano una porta e alcune finestra murate.

Addossato al mastio si trovano i resti della piccola cappella romanica dedicata a San Maurizio, risalente probabilmente all'XI secolo. L'abside, orientato verso est, era in origine affrescato con figure di angeli, santi ed evangelisti, come dimostrano alcuni disegni di Alfredo d'Andrade e gli scritti di Carlo Nigra degli inizi del 1900, ma ormai ne rimangono solo alcuni frammenti.

Gli edifici residenziali e il corpo di guardia, situati nella parte più meridionale del castello, sono ormai ridotti allo stato di rudere e appena intuibili.

Cenni storici - Nel corso del XIII secolo il feudo di Cly esisteva già, poiché Bosone III, figlio di Bosone II di Challant Visconte di Aosta, poteva vantare la signoria di Chatillon e di Cly. Un atto del 1242 testimonia di come i figli di Bosone III, Goffredo Aimone e Bosone IV, ricevettero questi feudi dal conte di Savoia; alla metà del XIII secolo i tre si spartirono i possedimenti della famiglia e Bosone IV ricevette il possesso di Cly (mentre Châtillon andò al fratello, Goffredo II) divenendo così il capostipite del ramo Challant di Cly. È a lui che dobbiamo il castello di Cly, costruito presumibilmente nel 1251 sui resti di un castello risalente al XII secolo secondo la tipologia primitiva dei castelli valdostani.

A Bonifacio succedette il figlio Pietro il quale, di carattere decisamente vivace, si contrappose al conte Amedeo IV di Savoia alla fine del secolo XIV per una questione di titoli nobiliari e venne quindi dichiarato scaduto dai suoi feudi; inoltre Amedeo IV confiscò i beni di Pietro e prese possesso del castello di Cly, che divenne così, nel 1384, bene della corona.

Nel 1550 poi il duca Carlo il Buono di Savoia concesse il feudo di Cly ad un capitano spagnolo che all’epoca stava di stanza ad Ivrea con i suoi armati; questi tuttavia lo cedette ai francesi e quindi fu spodestato, nel 1554, da Emanuele Filiberto, a favore di Giovanni Fabri di Aosta. Dalla famiglia di questi il castello passò quindi, nel 1634, al barone Filiberto Roncas, signore di Châtel Argent, il quale lo diede in dote ad una delle sue figlie.

Verso la fine del XVII secolo il feudo venne diviso in numerose parti e il castello di Cly venne definitivamente abbandonato e parte del materiale venne riutilizzato dalla famiglia Roncas per l’edificazione della casa in Chambave: comincia così la rovina del castello di Cly, che lo ha trasformato nel rudere che vediamo oggi.