L'Isola James è un isola situata a 30 km dalla foce del fiume Gambia, nei pressi di Juffureh, in Gambia. Sull'isola si trova un forte conosciuto col nome di Fort James.

I primi insediamenti sull'isola vennero impiantati dai coloni baltici provenienti dalla Curlandia al seguito del duca Jacob Kettler, che aveva acquistato l'isola nel 1651 e possedeva altri territori nella regione.

I nuovi coloni ribattezzarono l'isola con il nome di Isola di Sant'Andrea in onore del loro Duca, al quale intitolarono anche il forte edificato nello stesso anno, il Forte Jacob. In questo periodo l'isola serviva come base per il commercio. L'isola ed il forte restarono in mano ai coloni del duca per un periodo molto breve: nel 1659, infatti, essi vennero conquistati dagli olandesi e, nel 1661, dai britannici, cui vennero ufficialmente ceduti nel 1664.

I britannici ribattezzarono l'isola con il nome di Isola James ed il forte col nome di Fort James, in onore del Duca di York. L'isola venne allora affittata con regolare contratto alla Comagnia degli Avventurieri Reali in Africa, che ne fecero uso inizialmente per il commercio di avorio ed oro, in seguito per la tratta degli schiavi. Il giorno 1 agosto 16 69 l'isola venne subaffittata gli Avventurieri della Gambia e nel 1684 l'amministrazione dell'isola venne affidata alla Royal African Company.

Nel 1696 l'isola ed il forte vennero conquistati dai francesi, che la perdettero nel 1697 per poi riconquistarla nel 1702; durante questo periodo il forte venne ricostruito diverse volte, sia a causa del conflitto tra inglesi e francesi, sia per i continui attacchi da parte dei pirati. Il 30 giugno 17 50 l'isola fu messa sotto l'amministrazione della Compagnia dei Mercanti d'Africa. Tra il 1765 e il 1779 l'isola entrò a far parte della Senegambia britannica.

Dal 1779, dopo il ritiro dei britannici dal commercio degli schiavi, l'isola ed il forte vennero lasciati al più completo abbandono.

Come sito fondamentale che testimonia la storia del commercio degli schiavi nell'Africa occidentale, oggi l'isola ed il forte sono annoverati fra i Patrimoni dell'umanità dell'UNESCO, insieme ad altre testimonianze storiche della tratta degli schiavi nella regione come Albreda e Juffureh.

Attualmente l'isola è minacciata gravemente da un serio problema di erosione, che ha già divorato circa un sesto della sua estensione dai tempi della costruzione di Fort James. 

Sono presenti anche i resti di altre costruzioni edificate durante la permanenza degli inglesi (compresa una cella d'isolamento per la detenzione dei prigionieri più irrequieti) e un piccolo molo; queste opere sono ora state protette contro gli effetti dell'erosione, ma l'isola è molto bassa rispetto al livello dell'oceano ed è quindi soggetta a continue inondazioni ed all'effetto delle maree.