In epoca romana, nello stesso luogo si ergeva una fortezza da cui venne il nome del borgo: Châtillon deriverebbe infatti da Castellio, a sua volta derivato da castrum castellionis. La stessa etimologia la ritroviamo nel nome della famiglia De Castellione che trasformò l'antica fortezza in abitazione; i De Castellione si estinsero intorno all'anno 1000, mentre la loro casaforte fu demolita nel 1200 da Goffredo di Challant.

Il Giacosa attribuisce la costruzione del castello al secolo XIII; in effetti, il castello compare già nella ricognizione dei feudi del 1242. Il feudo appartenne agli Challant-Châtillon fino alla loro estinzione tra il 1361 e il 1364, quando tornò sotto il controllo diretto del conte di Savoia. Ibleto di Challant acquistò il castello dal conte Verde nel 1366.

Nel 1405 fu ereditato dal figlio di Ibleto, Giovanni di Challant, e secondo il Du Bois e il De Tillier fu da questi ricostruito. Il castello divenne quindi una delle residenze favorite della famiglia degli Challant e in particolare da Francesco di Challant, il quale morì senza lasciare eredi maschi. Nonostante la legge salica, che impediva alle donne di ereditare, Francesco di Challant si fece dare il permesso direttamente dai Savoia per lasciare i vari feudi in eredità alle sue figlie; il castello di Châtillon andò a sua figlia Caterina di Challant, moglie di Pietro d'Introd. Gli altri membri maschi della famiglia Challant (dei rami Challant-Aymavilles e Challant-Fenis) impugnarono la decisione e si rivolsero nuovamente al Duca di Savoia, il quale, rimangiandosi la decisione precedente, investì del feudo Giacomo di Challant-Aymavilles e dichiarò stavolta ribelli Caterina e il consorte. Nel 1456 Giacomo di Challant assediò il Castello di Verres e il castello di Châtillon in cui si era asserragliata la battagliera Caterina, la quale aveva fatto costruire un profondo fossato e una cinta muraria per resistere. A dicembre dello stesso anno, dopo oltre un mese di assedio e la morte del marito caduto in un'imboscata, Caterina si arrese e cedette tutte le sue terre a Giacomo. Le mura erano state demolite, mentre il castello risultò seriamente danneggiato.

Luigi di Challant, figlio di Giacomo e nuovo proprietario del castello, diede il via a numerosi lavori.

La trasformazione del castello in residenza signorile avvenne nel XVIII secolo. Nel 1717, ad opera dell'impresario G. Francesia e per volere di Paolina Solaro di Govone, moglie di Giorgio Francesco di Challant, ci fu la terza ricostruzione del castello: furono fatti i lavori di sistemazione dei giardini, con la piantumazione di parte del parco, la creazione del viale d'accesso da via Tollen (per poter arrivare in calesse fino al castello e non più con la scomoda portantina dall'ingresso di ponente) e il terrazzamento dei terreni e vennero realizzati lo scalone e il salone d'onore. 

Nel 1755 un forte terremoto interessò tutta la Valle d'Aosta e danneggiò seriamente il castello. Nel 1769 intervenne quindi l'architetto Giulio Pistono de Mongrado per i lavori di ripristino, e le spese furono tali da obbligare il conte Carlo Francesco Ottavio a ricorrere a un prestito. In quest'occasione il castello subì pesanti modifiche: la foggia medievale sparì sotto gli interventi di de Mongrado che portò avanti una decisa ristrutturazione del complesso, con il rifacimento del tetto e delle mura. Nuovi interventi ingentilirono le sale interne tra il 1773 e il 1793.

Nel 1770 il castello divenne di proprietà di Francesco Maurizio di Challant, ma questi morì subito dopo la nascita del suo unico figlio nel 1796: l'ultimo erede degli Challant, Giulio Giacinto, decedette infante nel 1802 all'interno del castello, decretando la fine di quella che fu la famiglia più potente della Valle d'Aosta. La madre, Gabriella Canalis di Cumiana, si risposò con il colonnello Amedeo Passerin d'Entrèves nel 1814. Dal 1846 in poi il castello e gli archivi degli Challant divennero eredità dei Passerin d'Entreves.

Al castello si accedeva un tempo solo tramite una mulattiera che sale proseguendo la Strada della chiesa, tra l'imponente chiesa parrocchiale dei SS. Pietro e Paolo e il collegio Gervasone, e che corre parallela al Ruisseau de la bourgade, un canale costruito intorno al 1368 per portare l'acqua del Marmore alle numerose industrie locali e alla popolazione del borgo. Oggi l'accesso principale del castello è su via Tollein dal lato meridionale. L'accesso al parco per i visitatori resta quello sulla Strada della Chiesa.

Il castello, trasformato in palazzotto signorile nel XVIII secolo, è uno dei più antichi della Valle d'Aosta seppure conservi poco dell'aspetto originario di castello medievale e nulla delle strutture preesistenti sul promontorio. 

La parte più antica del castello (XIII secolo) è sicuramente quella situata a ponente: il lato esposto a sud è caratterizzato da una struttura tipicamente valdostana, con tre portici ad arco e architravi di legno. È proprio in questo punto che sorge la bella torre rotonda che custodisce una minuscola cappella, una sorta di oratorio.

Una torre quadrata, al centro della struttura attuale del castello, separa la parte più antica dell'ala di ponente, notevolmente danneggiata a seguito di un incendio nel XVIII secolo. Questo spiega la tipologia completamente diversa della parte di ponente, ricostruita in muratura solida.

La parte a nord è caratterizzata da due torri rotonde che si elevano alle due estremità dell'edificio e da due torri quadrate simmetriche che delimitano l'ingresso principale.

La distribuzione delle aperture (porte e finestre) e la dinamica dell'inclinazione dei tetti di questa parte, ci ricordano l'atmosfera tipica dell'architettura minore francese.  

Il castello è inserito in un parco progettato nel Settecento; sono del 1717 il terrazzamento dei terreni, mentre solo nel XIX secolo venne innalzata la cinta muraria intorno al parco.

Sono ottocenteschi anche gli edifici ancellari al castello: le stalle e un rustico per l'abitazione dei custodi furono fatte costruire da Cristino Passerin d'Entrèves (1830-1896) là dove sorgeva l'antica torre esagonale di ponente che conteneva l'argano per azionare il ponte levatoio, ponte già demolito nel XVIII secolo. Poco distante si vede la serra, anch'essa della stessa epoca.

Il castello cela una ricca biblioteca che un tempo custodiva l'archivio degli Challant: la sala, dell'epoca di Giovanni di Challant, presenta soffitti in legno e le pareti decorate da affreschi quattrocenteschi, in particolare una palizzata a intreccio richiama quella dipinta nel cortile del Castello di Fenis lungo il ballatoio del secondo piano. L'arredamento è in stile impero e nella sala da pranzo la tappezzeria è a tema napoleonico.

Risalgono al 1502 gli affreschi della cappella di levante, fatti realizzare da Filiberto di Challant per il battesimo di Renato di Challant. La cappella sull'arcata presenta anche l'effigie della Sacra Sindone voluta da Giorgio di Challant nel 1678, per celebrare il passaggio nel castello della sacra reliquia, durante il suo trasferimento da Chambéry a Torino.

Nel 1717, per volere di Paolina Solaro di Govone, vennero realizzati lo scalone a doppia rampa che conduce al piano superiore e il salone d'onore adornato di stucchi. Lo scalone fu successivamente illuminato da una torretta finestrata dopo il 1841. Nel salone si conservano oggetti d'arte.

Il parco del castello si estende per una superficie di tre ettari, di cui 2 dal 1996 sono aperti al pubblico durante i mesi più caldi, grazie a un accordo tra l'attuale proprietaria e l'amministrazione regionale.

Le piante più vetuste risalgono all'epoca di Paolina Solaro di Govone in Challant che le fece piantare all'inizio del XVIII secolo per ripristinare quelle abbattute dai francesi durante le invasioni del 1691 e nel 1704. A questo nucleo principale di alberi si aggiunsero man mano quelli piantati in occasione delle natalità della famiglia. Per interessamento dell'attuale proprietaria sono state dichiarati monumentali ben 33 alberi di 9 specie diverse. Nell'ala ad uso privato, il parco conserva l'ultimo giardino alla francese storico rimasto in Valle d'Aosta, voluto dalla stessa contessa Paolina insieme al viale di tigli e faggi.