(Langs de Wal 6) is gelegen aan de zuidwestzijde van de stadskern. Vanaf de 17de eeuw is het kasteel, bestaande uit een zware vierkante donjon, een nog veel zwaardere ronde toren en delen van de buitenommuring met resten van een poortgebouw en een kleine ronde hoektoren, vervallen tot een ruïne.
Het oudste deel, de vierkante toren of donjon, is waarschijnlijk in opdracht van Zweder I van Zuylen van Abcoude gebouwd in het derde kwart van de 13de eeuw. De toren had oorspronkelijk twee bouwlagen, waarvan de onderste later met een tussenvloer is opgedeeld. De tweede bouwlaag een indrukwekkende, circa acht meter hoge ruimte kreeg een koepelgewelf met brede platte kruisribben. Deze ruimte was alleen van buiten via een ladder of houten trap toegankelijk. Later in de 13de eeuw werd het kasteel aan de noord- en de westzijde uitgebreid. In de eerste helft van de 15de eeuw voegde men aan de zuidoost- en de westzijde nog enkele bouwdelen toe.
Na 1459 diende het kasteel de bisschoppen David en Philips van Bourgondië tot residentie. Er verrezen een nieuw poortgebouw en vier hoektorens. Veruit de belangrijkste was de noordwestelijke toren, de thans nog bestaande ‘Bourgondische toren’. Deze toren, met een doorsnede van 15 meter, werd waarschijnlijk in het laatste kwart van de 15de eeuw voltooid. De kern van de ruim vier meter dikke muren wordt gevormd door het metselwerk van een oudere hoektoren. Het inwendige bestaat uit een kelder met koepelgewelf met daarboven vijf bouwlagen, waarvan de onderste twee straalgewelven bezitten.
De terugspringende kop van de toren, die evenals het aangebouwde ronde traptorentje is versierd met banden van mergelsteen, wordt omgeven door een overkragende en overdekte weergang op hardstenen consoles. Een achtkante spits met opengewerkte lantaarn vormt de bekroning. Omstreeks 1500 werd de donjon verhoogd met een geschutsverdieping. In zijn uiteindelijke vorm had het kasteel een min of meer rechthoekige plattegrond; gebouw en voorburcht waren omgracht. In 1529-'31 maakte men een aanvang met een versterking van de singel met bolwerken. Dit onvoltooide werk is in 1577 gemoderniseerd door de aanleg van vijf bastions. Tot 1580 bleef het kasteel de residentie van de Utrechtse bisschoppen, waarna het aan de Staten van Utrecht overging.
Nog in het midden van de 17de eeuw diende kasteel Duurstede als verblijf voor belangrijke personen, doch het verval had al ingezet. Na de Franse bezetting van 1672-'73 zijn de kasteelmuren deels gesloopt. De stad verwierf in 1727 de weilanden rond het kasteel onder voorwaarde dat de Bourgondische toren zou worden onderhouden. In 1769 zijn de wallen deels afgegraven waarna het terrein omstreeks 1800 een landschappelijke aanleg kreeg. In 1852 schonk J.H. baron van Lynden van Lunenburg het park door hem ‘Charlottenburg’ genoemd aan de gemeente op voorwaarde dat er een openbaar park van gemaakt zou worden. Tuinarchitect J.D. Zocher jr. legde een geaccidenteerd wandelpark aan, waarbij de binnen- en buitengracht met elkaar werden verbonden. Op het kasteeleiland is in 1911 een muziektent geplaatst.
De schilderachtige ruïne werd door enkele ingrepen voor verdergaand verval behoed. Onder leiding van P.J.H. Cuypers vond in 1883 beperkt herstel plaats van de Bourgondische toren. In 1948-'54 werd ingrijpender gerestaureerd onder supervisie van architect Royaards. Daarbij werd onder meer de weergang hersteld die in de 18de eeuw grotendeels was gesloopt. Restauratie van de vierkante toren, gericht op consolidatie van de bestaande toestand, vond in 1984-'85 plaats.
