Il Castello di Pont-Saint-Martin, detto anche Castellaccio e Castello vecchio, sorge su di un'altura morenica a dominare il borgo di Pont-Saint-Martin e la destra orografica della valle del Lys, in Valle d'Aosta. Venne costruito in modo da essere in comunicazione visiva con la Torre di Pramotton e permettere l'invio di segnali luminosi da un presidio all'altro della valle a scopo difensivo. Abbandonato secoli fa, è ridotto a rudere e meta di passeggiate da parte degli appassionati di trekking. 

Non esiste data sicura della sua costruzione: i lavori devono essere stati condotti a più riprese sin dal Trecento. Un' ipotetica datazione di lavori é riscontrabile dai dettagli stilistici. Nella cinta del Castello vi é, infatti, una torretta cilindrica pensile decorata con archetti ciechi in cotto, di una tipologia unica in Valle d'Aosta ma identica ad altre di castelli piemontesi eseguiti attorno al 1410. All'interno del castello due mensole rimandano alla semplicità rigorosa dell'architettura di primo Quattrocento, mentre l'apparato della cucina, coperta in origine da un' unica cappa, rimanda alla cucina del castello di Introd. 

La cinta ha forma irregolare, a causa della morfologia del terreno. Nell'angolo sud-est vi è la torretta cilindrica pensile che serviva per l'avvistamento. L'ingresso, sul lato sud, è situato dove il recinto forma un angolo. Verso est è visibile il resto del mastio a pianta esagonale, anomalo per il panorama dei castelli valdostani ma paragonabile al mastio della vicina Torre di Pramotton.

Adattandosi alla morfologia del promontorio, formato da rocce lisciate dal ghiacciaio quaternario che dirupano a levante, le mura di cinta avevano forma irregolare e si aprivano con un accesso di facile controllo sul lato meridionale, in concomitanza dell'unico e stretto passaggio obbligato consentito dal territorio.

All'interno delle mura, a ponente, si leggono ancora le strutture più propriamente abitative, come la cappella e la cucina di cui resta la volta a cupola con un foro centrale per dar sfogo al fumo dell'alto camino e che ricorda per dimensioni quella conservatasi al castello di Introd. Ad uno spigolo del castello resta svettante, curiosamente, una torretta cilindrica pensile, decorata da una serie di archetti ciechi che mostra somiglianze con lo stile decorativo dei castelli piemontesi costruiti intorno ai primi del Quattrocento.

Il castello appartenne ai nobili di Pont-Saint-Martin, un ramo dei Bard, costituitisi con questo nome nel 1214 allorché i fratelli Ugo di Bard e Guglielmo di Pont-Saint-Martin si spartirono i beni di famiglia rendendo i loro possedimenti indipendenti e autonomi. Non si hanno notizie sicure della sua edificazione, avvenuta probabilmente a più riprese nel XIV secolo.

Nel 1447 Antonio di Pont-Saint-Martin subì un breve esproprio da parte del duca di Savoia, per contrasti tra i due. Ancora in mano ai Savoia, il castello cadeva già in rovina attorno al 1460, quando i figli di Antonio - Bertrando, Giacomo, Ardissone e Francesco di Pont-Saint-Martin - chiesero ai Savoia di poter ristrutturare il maniero. Nel 1466 il castello tornò in mano alla famiglia, ed è probabile che a partire da quella data diedero il via ai lavori di consolidamento.

Il castello fu abbandonato (forse nel XVI secolo) a favore della casaforte in paese quando l'ingentilirsi dei costumi rese l'alto maniero troppo scomodo e fuori mano per le mutate esigenze dei signori.

L'amministrazione comunale intende valorizzare l'area; è in corso l'acquisizione dei terreni dai privati per poter dar via ad un'opera di consolidamento della struttura e una messa in sicurezza del sentiero.