Nel 1277 il vescovo Bernard de Castanet, in accordo con il capitolo dei canonici, decise di costruire una nuova cattedrale. I lavori per la costruzione della nuova cattedrale di Santa Cecilia iniziarono quattro anni dopo (15 agosto 1281). Intanto veniva eretta la sede del vescovado (curia), il fortificato Palais de la Berbie (Palazzo della Berbie). La città divenne quindi un centro culturale, oltre che commerciale, grazie anche al suo centro scrittorio.  

Nel XIV secolo la città fu divisa in quartieri circondati da mura, il Ponte vecchio fu fortificato con un ponte levatoio alle due estremità e fu sormontato da una cappella dedicata alla Vergine. Nei sobborghi sorsero mulini e tintorie.

La coltivazione nei dintorni del guado, una pianta dalla quale si ricava un pigmento azzurro, fu fonte di grande prosperità per la città.

Numerosi borghesi diventano ricchi ed influenti nella vita della città. È l'epoca della costruzione di numerose case e palazzi particolari ancora visibili oggi nelle vie della città: la casa Enjalbert, il palazzo Gorsse e il palazzo de Reynès sono esempi dell'architettura di quel tempo, caratterizzata dall'uso esclusivo del mattone per i muri e della pietra per gli aggetti e le cornici di porte e finestre.

Nel 1474 Luigi I d'Amboise, già ambasciatore a Roma e consigliere di Luigi XI, fu nominato vescovo di Albi e luogotenente generale delle province di Linguadoca. Si installò allora ad Albi Neumeister, un mastro tipografo di Magonza, allievo di Gutenberg. Si trattò di uno dei primi stabilimenti tipografici di Francia dopo quelli di Parigi e Lione.

Nel XVI secolo, con le guerre di religione e l'arrivo del calvinismo verso il 1540 furono fonti grandi turbolenze. Il 9 maggio 1561 la reggente in nome di Carlo di Valois, Caterina de' Medici, nominò il cardinale Lorenzo Strozzi amministratore apostolico della diocesi di Albi, incaricandolo di difendere la città dalle incursioni protestanti. Anche ad Albi, il 5 ottobre 1572, si ebbe una specie di notte di San Bartolomeo, che fu per altro piuttosto un sanguinoso regolamento di conti. Albi aderì alla Lega cattolica e nel 1593 gli Stati della Lega si riunirono sotto la presidenza del principe di Joyeuse. Il Palazzo di Berbie divenne una fortezza fino al 1598 allorché la Lega cattolica si sciolse con la conversione di Enrico III di Navarra al cattolicesimo e la sua ascesa al trono di Francia con il nome di Enrico IV.  

Il XVII secolo vide il declino della prosperità economica di Albi, causa anche al concorrenza che l'indaco faceva al guado. Tuttavia il 3 ottobre 1678 la diocesi di Albi venne elevata al rango di archidiocesi.

L'avvento della Rivoluzione francese nel 1789 vide la città in notevoli difficoltà economiche. Essa perse il ruolo di un tempo a favore della città vicina di Castres, divenuta il capoluogo del nuovo dipartimento del Tarn nel 1790 ma ridivenne capoluogo sette anni dopo. Intanto i beni ecclesiastici furono venduti all'asta ed il convento dei carmelitani divenne l'attuale Palazzo di giustizia mentre quello dei cappuccini fu trasformato in un carcere. Il Palazzo di Berbie divenne sede dell'amministrazione dipartimentale e rimase tale fino al 1823.

Nel XVIII secolo il marchese di Solages, signore di Carmaux, tentò una delle prime estrazioni industriali del minerale di carbone in Francia ed ottenne l'autorizzazione a costruire una linea ferrata con mezzi ippotrainati: nacque così il nuovo sobborgo de La Madeleine.

La ferrovia vera e propria giunse ad Albi nel 1864. Venne costruito sul fiume Tarn un viadotto ferroviario ed un nuovo ponte stradale. Furono eretti impianti siderurgici e fonderie specializzate ma l'attività più nota divenne quella delle vetrerie (la prima fu fondata nel 1896 come cooperativa operaia grazie all'aiuto di Jean Jaurès). Albi divenne anche famosa nel XIX secolo per le sue fabbriche di cappelli, tra le prime di Francia.

La bellezza architettonica della città si sposa felicemente con il paesaggio naturale, tanto da donarle un fascino particolare. Il fiume Tarn, che la bagna, attraversato dagli alti e antichi ponti, ne completa il suggestivo panorama. 

Insieme alla cattedrale si ammirano anche altri monumenti, come quelli situati nel centro storico della città, il Vieil Albi. La città vecchia di Albi è una delle meglio conservate di tutta la Francia, costruita secondo lo stile architettonico regionale, quello della Linguadoca. 

Sono i mattoni rosa a farla da padrona, usati inizialmente per costruire la famosa cattedrale e l'area episcopale intorno ad essa, in un'estensione di circa 63 ettari. I mattoni rosa di Albi, colorano la città in sfumature che vanno dal rosa pastello al profondo rosso; tra monumenti, case e palazzi, il mattone è qui ovunque presente. Usato sin dai primi secoli, si ammira in particolare nell'area della cattedrale, nei quartieri di Castelvieil, Rivière, Castelnau e Patus Cremat.

L'attrazione per eccellenza di Albi è la sua cattedrale dedicata a Santa Cecilia e costruita su un edificio di culto preesistente.

Fortemente voluta dal vescovo Bernard de Castanet, fu iniziata il 15 agosto 1282, il quale volle che la cattedrale avesse anche caratteristiche di fortezza. La struttura principale fu terminata già nel 1380, ma numerose altre opere connesse, interne ed esterne, furono eseguite successivamente. Nel 1410 fu aperto il Portale di Dominique de Florence e nel 1480 la cattedrale fu solennemente consacrata dal vescovo Luigi I d'Amboise (vescovo di Albi dal 1474 al 1503), che fece terminare fra il 1485 ed il 1492 l'ultima parte del campanile sul donjon, edificare il coro ed il Jubé, e che commissionò anche il grande baldacchino esterno, terminato nel 1536.

Nel 1500 fu terminato anche l'insieme di splendidi affreschi del Giudizio universale, sulla parte interna che chiude la navata unica, lato opposto al coro, e quindi volta ad occidente.

Fra il 1509 ed il 1512 vennero eseguiti da artisti bolognesi gli affreschi sulle vele della volta.

Nel 1736 fu anche terminata la installazione del grande organo, opera di Christophe Moucherel, posto sul lato interno occidentale della navata, al di sopra degli affreschi del Giudizio Universale.

Nel 1947 è stata insignita del titolo di Basilica minore.

La cattedrale di Santa Cecilia ha il carattere di una chiesa-fortezza, per la posizione sopraelevata e per la presenza del dongione, ovvero il campanile-torre.

L'esterno dell'edificio è caratterizzato e dominato proprio dal dongione, fondamentalmente con una forma a parallelepipedo con base quadrata con gli angoli rinforzati da contrafforti circolari in mattoni; la torre è situata a ridosso del lato corto della navata, pertanto la chiesa è priva di facciata. I quattro ordini del campanile sono divisi da terrazze con balaustre in pietra. I due ordini inferiori, non presentano finestre, ma alte feritoie con arco a tutto sesto; il terzo ordine dal basso, invece, è decorato con archetti ogivali pensili e, su ognuno dei quattro lati, si apre una bifora gotica; l'ordine superiore è ottagonale, a sua volta diviso in due ordini ulteriori, con quello inferiore quattro bifore e quello superiore otto, ed è rinforzato da tre piccoli archi rampanti e da una caratteristica struttura cilindrica in mattoni all'interno della quale si trovano le scale.

L'ingresso della chiesa si trova lungo il fianco destro, all'altezza della sesta campata, ed è in stile gotico fiammegiante. Il portale è leggermente strombato ed è sormontato da una quadrifora con, al centro, la statua della Vergine col Bambino. La porta è preceduta da un protiro in pietra, aperto su tre lati con un'arcata a tutto sesto e con volta a crociera poggiante su quattro pilastri. Sulla parte esterna dell'abside, si trova un piccolo campaniletto a pianta circolare, costituito da una copertura piramidale a pianta ottagonale e con la cella campanaria che si apre sull'esterno tramite piccole monofore ogivali.

L'interno della cattedrale di Santa Cecilia è a navata unica di dodici campate con cappelle laterali a pianta quadrata sormontate da un matroneo. La navata termina con l'abside poligonale con cinque cappelle radiali ottagonali. L'orientamento non è quello originale, con l'altare maggiore situato nell'abside, ma è invertito, con l'altare collocato nella base della torre campanaria e il coro adibito a cappella feriale.

All'interno della chiesa, nell'area situata nelle cinque campate alla destra del portale e nell'abside, si trova il pregevole coro, preceduto da uno Jubé, recinzione trasversale che separava il coro e il presbiterio dal resto della chiesa. Si tratta di uno dei pochi Jubé rimasti fino ai giorni nostri. Il coro è delimitato da un'elaborata transenna marmorea decorata con sculture e rilievi. A ridosso delle pareti interne, si trovano gli stalli lignei intarsiati. Nella parte semicircolare, vi è un altare in marmo con mensa sorretta da pilastri e, alla sua destra, vi è la cattedra vescovile.

Sulla parete di controfacciata, sopra i contrafforti circolari della torre campanaria, si trovano due cicli di affreschi realizzati tra il 1474 e il 1484 raffiguranti il Giudizio Universale e la Creazione del mondo. Gli affreschi delle volte furono realizzati in stile rinascimentale italiano tra il 1509 e il 1512. Il presbiterio, rialzato di alcuni gradini rispetto al resto della chiesa, ospita il moderno altare maggiore. Nella base del campanile è situata la cappella del Santissimo Sacramento, interamente affrescata e con volta a crociera.

Sulla cantoria a ridosso della parete di controfacciata, si trova il grande organo a canne della cattedrale.

Lo strumento venne costruito tra il 1734 e il 1736 da Christophe Moucherel con 43 registri distribuiti fra quattro manuali e pedaliera. In seguito, subì una serie di restauri che ne alterarono le caratteristiche originarie. Già nel 1747, François e Jean-François L'Épine aggiunsero alcuni registri ad ancia, mentre nel 1779 Joseph Isnard aggiunse un quinto manuale (Bombarde) con una batteria di ance ed un cornetto. 

Nuovi restauri furono intrapresi nel XIX secolo: tra il 1824 e il 1825, Antoine Peyroulous cambiò l'ordine dei registri sui manuali; tra il 1840 e il 1841 i fratelli Claude fecero alcune riparazioni ed altre da Junk nel 1859. Nel 1865, Théodore Maucourt chiuse i registri della terza tastiera (Récit) in cassa espressiva. Con un restauro effettuato tra il 1902 e il 1904, Jean-Baptiste Puget trasformò lo strumento in un organo romantico riutilizzando parte del materiale antico. Nel 1974, lo strumento venne catalogato come monumento storico di Francia. Tra il 1977 e il 1981, Barthélemy Formentelli ricostruì lo strumento in stile barocco. Lo stesso organaro ha effettuato una pulizia generale dell'organo nel 1999.

L'organo a canne è racchiuso entro una maestosa cassa lignea decorata con sculture e rilievi; si compone del Grand Buffet e del Positivo tergale. Il Grand Buffet presenta otto campate simmetricamente uguali separate da nove tourrelles circolari, sormontate da sculture. Le canne di mostra delle campate sono con bocca a mitria, mentre quelle delle tourrelles sono con bocca a scudo. Il Positivo tergale segue lo schema del Grand Buffet, con quattro campate separate da cinque tourrelles circolari sormontate da sculture. La consolle è a finestra ed ha cinque tastiere (di 51 note Positif de dos, prima tastiera, Grand-Orgue, seconda tastiera, e Bombarde, terza tastiera; di 27 note Récit, quarta tastiera; di 39 note Écho, quinta tastiera) e pedaliera a leggio di 30 note.

A ridosso della cattedrale, il Palais de la Berbie, è uno dei castelli più antichi di Francia, antecedente anche al Palazzo dei Papi di Avignone. I vescovi, dopo la dura repressione degli eretici, necessitavano protezione: questo spiega la sua architettura militare caratterizzata dalle imponenti torri e dallo spessore delle mura, apprezzabile al meglio all'interno del palazzo nelle sale oggi trasformate nel museo di Toulouse-Lautrec. 

L'edificio, costruito tra il XIII ed il XIV secolo, fu ristrutturato nel Rinascimento ed ospita sale con volte ogivali, terrazze e giardini che ricordano i fiabeschi giardini del più famosi Castelli della Loira; attualmente vi trova sede il museo dedicato al pittore Henry de Toulouse-Lautrec, nato ad Albi nel 1864. Con oltre 1000 opere, il museo di Albi possiede la più grande collezione pubblica al mondo dedicata a questo pittore. Il museo interamente rinnovato in un lungo percorso di ristrutturazione conclusosi nel 2012, invita a fare una scorpacciata di dipinti, disegni e poster creati da un artista che ha saputo godersi la vita come pochi altri: cabaret, spettacoli, case chiuse, ma anche il buon vino e i piaceri della tavola; Toulouse-Lautrec non si è mai fatto mancare nulla.

I giardini del Palais de la Berbie, creati intorno al 1678, costituiscono una delle maggiori attrazioni della città. 

Tornando al patrimonio cittadino, non si può dimenticare la collegiata di Saint-Salvi, la più antica chiesa di Albi eretta in onore del primo vescovo della città, vissuto nel VI secolo. In particolare si segnalano la torre campanaria ed un delizioso chiostro che presenta aspetti architettonici molteplici, a testimonianza di una costruzione avvenuta in più fasi.

La sua parte più antica è costruita in pietra secondo lo stile romanico, mentre la parte più recente, edificata in mattone, è tipica dello stile gotico. Prima della costruzione della cattedrale, la torre di guardia della chiesa era la più alta della città, anche se oggi appare seminascosta alla vista a causa degli edifici circostanti; il chiostro della collegiata, risalente alla fine del XIII secolo, fu costruito a più riprese mescolando anch'esso diversi stili architettonici, ed è oggi uno dei punti più caratteristici e silenziosi del centro storico.

Il miglior panorama della città è visibile da un altrettanto storico monumento, il Ponte Vecchio di Albi (le Pont-Vieux). Originariamente costruito in pietra, poi sostituita dai mattoni, si ammira in tutta la sua estensione di 151 metri, abbellita da otto arcate. Venne costruito nel 1035 e fu il primo ponte della città sul fiume Tarn. 

La sua importanza fu tale da incrementare l'economia della città: facilitò il passaggio urbano e commerciale con il resto del mondo (che allora era costituito unicamente dalle città di Toulose o Le Puy), sviluppando il commercio di prodotti come lo zafferano, il vino di Gaillac, la ceramica di Montans e i coloranti a pastello.  

Quest'ultimi venivano prodotti dalla pianta Isatis tinctoria, il comune Gualdo, e venivano utilizzati nella tintura di tessuti come cotone e seta o anche lana (per tale produzione l'area di Albi, Toulose e Carcassonne era conosciuta con il nome di Pays de Cocagne).

Gli edifici rinascimentali di Albi sono altrettanto preziosi quanto i precedenti monumenti. Situati sempre nel centro storico, consigliamo la visita in particolare all'Hôtel Reynes, l'Hôtel de Gorse e  l'Hôtel de Riviére, dei palazzi patrizi edificati intorno al XV e XVI secolo. Fanno parte della storia della città anche i 'mulini di Albi', un complesso commerciale conosciuto con il nome di La Madeleine; sviluppatosi nel XIX secoli, costituiva il centro mercantile della città, serviva industrie specializzate nella produzione non solo di farine, ma anche per esempio di cappelli. 

La visita alla città di Albi è particolarmente apprezzata durante il periodo del Natale in Francia, quando si illumina di mille luci, tra mercatini e decorazioni varie, e di un abbondante gastronomia natalizia.