Il castello di Châtel-Argent, così chiamato perché vi si batteva moneta, sorge nel comune di Villeneuve, sopra una balza scoscesa posta a dominio del paese, nel punto in cui la valle tende a restringersi. La particolare conformazione geografica rende il luogo un ottimo punto per il controllo della Dora e del territorio, a monte e a valle. 

I ruderi del castello oggi visibili risalgono al XIII secolo, ma il cocuzzolo roccioso sul quale essi si ergono era già occupato in epoca romana da una fortificazione posta a guardia della valle. L'area rinchiusa da ciò che resta della cinta muraria è di 90 x 70 m; si calcola che potesse contenere 2000 uomini.

Per quanto riguarda la costruzione del XIII secolo si trovano, all'interno della cinta, nella posizione più elevata del sito, i resti di un corpo di fabbrica e di una cisterna; la parte meglio conservata, che caratterizza l'aspetto del sito, è rappresentata dal dongione di forma cilindrica, alto circa 16 metri ed avente un diametro di 9,50 m. misurato all'esterno.

Gli elementi costitutivi del castello di Châtel-Argent sono sostanzialmente la torre, il recinto e la cappella; vicino alla torre si trova poi la cisterna per la raccolta dell'acqua, mentre lungo il muro di cinta, sempre nei pressi della torre, si possono individuare gli innesti delle murature di corpi di fabbrica ormai distrutti, corrispondenti agli originali edifici per la residenza.

L'edificio più antico del complesso è la cappella, databile alla metà del XI secolo, tra 1050 e 1075, e quindi preesistente rispetto al castello, il cui aspetto attuale dovrebbe risalire alla seconda metà del XIII secolo.

La cappella è costruita a ridosso della porzione orientale del muro di cinta, con la parte absidale totalmente extra muros, ed è canonicamente orientata con il fronte d'ingresso ad ovest e la zona dell'altare ad est. La cappella ha pianta longitudinale e presenta un'unica navata terminante con un'abside semicircolare, conclusa dal catino absidale; lo spazio misura 8,4 per 5,6 metri, e le murature sono realizzate principalmente in pietrame, ma vi si possono trovare anche laterizi, materiale di recupero proveniente dai precedenti insediamenti romani.

Alla semplicità di impianto corrisponde la semplicità dell'apparato decorativo degli esterni, che comunque non manca di eleganza. Il fronte d'ingresso presenta un portale inquadrato, a richiamare idealmente l'arco absidale interno, completato dalla decorazione ad archetti e lesene che segna anche l'abside e il fronte meridionale, ma qui mancano le arcatelle, probabilmente vittime dello scorrere del tempo; la parte superiore della facciata è forata da una finestra a tutto sesto larga circa un metro. Sulla curva parete absidale, che si estende al di fuori della cinta muraria, si aprono invece due sottili monofore a doppia strombatura, simili alle due che bucano il prospetto meridionale. Il fronte esposto a nord è il più scarno, non presentando alcuna apertura, né le pur semplici decorazioni gli altri prospetti, ed è semplicemente intonacato.

La cappella doveva essere in origine coperta da un tetto in legno, ma attualmente si presenta a cielo aperto, non perdendo per questo una sorta di sacralità ed offrendo comunque ai visitatori un fascino particolare e quasi sublime. Le pareti interne erano tutte decorate con affreschi di cui rimane qualche traccia cromatica ma che sono attualmente irriconoscibili e destinati a scomparire. Carlo Nigra ne rende testimonianza descrivendo l'abside come la si vedeva negli anni '30 del XX secolo: "L'abside è internamente colorata con ocra gialla, rossa e verde e mostra rozzamente dipinte le rappresentazioni del Battesimo di Cristo e della Madonna in trono col Bambino tra due santi, forse sant'Eusebio o san Grato.".

Dal lato opposto del recinto si trova la torre circolare; questa, alta 15 m, ha diametro interno di 5,5 m e diametro esterno di 9 m, quindi le mura hanno uno spessore di circa 1,7 m. La torre è coronata da una merlatura rettangolare, sotto la quale si notano i modiglioni in pietra disposti per sorreggere le bertesche lignee; le bertesche sono opere difensive di completamento, che venivano realizzate in pietra o in legno con lo scopo una maggiore copertura dei soldati impegnati nell'attacco ai nemici.

Lungo la superficie esterna la torre presenta delle feritoie, che danno luce ai locali interne; queste sono necessariamente molto strombate, dato l'elevato spessore murario. La torre presenta ancora, inoltre, le buche pontaie, quei fori destinati ad accogliere i sostegni dei ponteggi, disposti secondo un andamento elicoidale. Rimanendo all'esterno, segnaliamo la presenza della porta d'ingresso alla torre, posta ad un'altezza di circa 5,5 m rispetto al suolo.

Il paramento murario è di ottima qualità: infatti i corsi di pietra sono regolari, la calce è di buona qualità e la proporzione tra materiale lapideo e legante è corretta; sono presenti anche brevi brani di muratura realizzata in opus spigatum. La torre di Châtel-Argent ha la caratteristica di avere archi di sottomurazione in luogo della tradizionale scarpa di ispessimento della sezione di base: in questo modo viene massimizzata la capacità difensiva in caso di attacco con mine (i cunicoli che venivano scavati sotto le opere fortificate per indurne il crollo).

Internamente la torre era divisa in tre piani, di cui l'inferiore completamente buio; in un piano è presente un camino, segno che nella torre alloggiava, almeno saltuariamente, il castellano.

Per quanto riguarda la tipologia di torre a pianta circolare, è necessario osservare come questa fosse adottata da Pietro II di Savoia, che aveva al suo servizio un valente ingegnere militare, Giacomo di Saint-George d'Espéranche, noto come Magister Jacobus de Sancto Georgis. Questi lavorò per il duca d'Aosta e quindi passò al servizio del nipote, Edoardo I re d'Inghilterra per il quale, con il nome di Magister James of Saint George, realizzò numerosi castelli. La torre tradizionale, a pianta quadrata, deriva dal modello romano adottato in epoca romanica; viene abbandonata a favore della torre circolare, posta non più nel mezzo del recinto ma a ridosso delle mura, destinata soprattutto alla vigilanza, ed alla difesa solo in caso estremo.

Il muro di cinta, spesso 85 cm, racchiude un'area lunga circa 90 m e larga 70, che secondo Nigra poteva ospitare più di 2000 soldati. Il recinto si raddoppia in corrispondenza della torre, dove si trova un doppio recinto a proteggere ulteriormente la torre, la cisterna ed i corpi residenziali, oggi non più esistenti. In alcuni tratti, i più esposti ad un eventuale attacco nemico, il muro di cinta era internamente rinforzato da un serie di pilastri, realizzati in aderenza alla muratura a mo' di contrafforti, collegati tra loro in sommità da archi a tutto sesto su cui appoggiava il camminamento per la ronda.

Nei pressi della torre si trova quel fondamentale elemento che è la cisterna per la raccolta dell'acqua; si tratta di un piccolo ambiente rettangolare, interrato e voltato in pietra.

Già prima che venisse edificato il castello, sul colle sopra Villeneuve esisteva un fortilizio romano, tanto che sono riscontrabili testimonianze materiali quali lapidi con iscrizioni e mattoni riutilizzati per la costruzione della cappella. Del resto gli stessi romani erano con ogni probabilità stati preceduti da popolazioni più antiche, come si può dedurre da una stele antropomorfa di epoca protostorica rinvenuta in loco.

La cappella, l'elemento più antico del castello, è databile, in base a considerazioni tipo-morfologiche, alla seconda metà del XI secolo, probabilmente tra 1050 e 1075.

Ottone di Bard nel secolo XI possedeva i feudi di Bard, Pont-Saint-Martin e Châtel-Argent; nel 1191 un Ugo o Ugone di Bard presta omaggio al conte di Savoia ma il toponimo di Castrum Argenteum compare già nel 1176.

Nel 1242 due dei figli di Ugone di Bard, Anselmo ed Ugo II, che avevano ricevuto entrambi in eredità il castello di Châtel-Argent e per questo erano in lite tra di loro rifiutarono di rendere omaggio al conte Amedeo IV, che minacciò la confisca dei feudi dei due fratelli; dopo alcune trattative tuttavia Anselmo ed Ugo vendettero al conte le loro proprietà e si ritirarono in Borgogna.

A questo punto, Amedeo IV infeudò del feudo di Châtel-Argent Marco ed Aimone, figli di Ugo II, che lasciarono il nome di Bard a favore rispettivamente di Sarriod d'Introd e Sarriod de la Tour.

Nel 1279 Guglielmo Sarriod, fratello minore di Marco e Aimone, nel suo testamento lascia la sua parte del castello di Châtel-Argent alla moglie Leonarda, che ci dimora con i figli Rodolfo, Guglielmo e Pietro. A questo punto diviene difficoltoso seguire il corso delle successioni e delle vendite delle diverse porzioni di proprietà del castello, in quanto l'omonimia tra il castello di Villeneuve e la castellania di Châtel-Argent, che si estendeva su Villeneuve e su Saint-Pierre, ingenera confusioni nelle attribuzioni dei documenti.

Quello che è certo è che alla fine del XVI secolo Châtel-Argent ritorna ai Savoia, fino al 1605 quando Carlo Emanuele I ne infeuda, come barone di Châtel-Argent, Pietro Leonardo Roncas marchese di Caselle.
Il castello viene abbandonato poco dopo il 1780, ed attualmente permane come rovina, ben visibile sopra l'abitato di Villeneuve.