Il castello Blonay è un castello medievale non visitabile che si affaccia da un promontorio al centro del borgo di Avise, nei pressi della chiesa di San Brizio. Insieme al vicino castello di Avise e al castello di Cré, fuori dal paese, è uno dei tre castelli del comune. È ben conservato.

La parte più antica del castello è la torre, i cui lati liberi oggi non presentano né feritoie né ingressi, nonostante sia certo che all'inizio si ergesse sola sul modello dei castelli primitivi valdostani, mentre il lato sud è addossato ad un edificio stereometrico d'aspetto meno severo, in cui si aprono alcune finestre a crociera caratterizzate da cornici in pietra lavorata. La torre è coronata di una merlatura a coda di rondine ed ha le mura di spessore maggiore rispetto al resto del complesso, ulteriore testimonianza delle differenti epoche costruttive e delle mutate esigenze difensive del complesso.

La torre antica era detta "des Prisons": nel 1787 il nobile Filippo de Blonay rivendicava il diritto indiviso con gli altri signori d'Avise di rinchiudervi i malfattori. La torre venne ceduta a famiglie del posto dai Bianco di San Secondo, mentre l'annesso edificio fu alienato dai Blonay.  

Secondo Jean-Baptiste de Tillier, fu la prima dimora dei signori d'Avise, una nobile famiglia valdostana già presente nel XII secolo. Torre e edificio che compongono il castello di Blonay non risalgono alla stessa epoca e non ebbero sempre gli stessi proprietari: la torre fu edificata nel XII secolo, e solo nel XV secolo si aggiunse il resto del castello. La torre seguì a lungo le vicende dei d'Avise, mentre il corpo di fabbrica adiacente alla torre venne lasciato in eredità nel 1645 da Prosper d'Avise, senatore del Senato di Savoia, ai suoi nipoti, Claude e Josué de Blonay, figli di Marie d'Avise e di Jacques de Blonay, originario dello Chablais. Claude de Blonay ne fu nuovamente investito alla morte della madre, tra il 20 e il 27 marzo 1649 e successivamente quell'ala del castello restò nelle mani della famiglia de Blonay.

Jean-Baptiste de Tillier nella prima metà del XVIII secolo fotografava ancora una situazione di comproprietà che proseguiva da lungo tempo:

François Gaspard d'Avise fu l'ultimo erede della famiglia: nelle disposizioni testamentarie del padre Antoine-Balthazard, del 9 febbraio 1677, ricevette metà del feudo, mentre la sorella del defunto, Claire-Marie d'Avise, ricevette in eredità il resto insieme al marito Charles-Joseph, della nobile famiglia dei Bianco di San Secondo. La torre servì a lungo da prigione, tanto da assumere l'appellativo di torre delle prigioni (tour des Prisons): nel 1787 Philippe de Blonay in una dichiarazione feudale reclamava il proprio diritto esclusivo a imprigionarvi i malviventi.

Nel 1980 Zanotto lo dice disabitato.