Het kasteel (Kasteel 29) wordt in 1159 voor het eerst genoemd als mottekasteel in bezit van de bisschop van Utrecht. Het kasteel is in de loop van de eeuwen diverse keren verwoest, ontmanteld en herbouwd.
Van een in 1579 onder leiding van Johan van den Kornput begonnen versterking met vijf bastions en een gracht, voltooid rond 1590 in opdracht van de Spaanse stadhouder Francesco Verdugo, zijn geen resten behouden. Het huidige, donkerrood geschilderde, complex bestaat uit een onderkelderd 15de-eeuws zaalgebouw met rechts een lager, mogelijk laat 16de-eeuws, bouwdeel en links een ronde lage toren met tentdak en een achtkantige traptoren met ui-vormige bekroning.
In de voorgevel bevindt zich een wapensteen uit 1527 van Karel van Egmond, hertog van Gelre. Het interieur bevat een kelder met kruisgewelven, een hal uit 1530 met daaronder een kelder gedekt met dwarse tongewelven, en verder een samengestelde balklaag met gotische en renaissance-consoles.
Bij een ingrijpende restauratie in 1968-'72 zijn onder meer de ronde toren, die was gesloopt in 1832, en de achtkantige traptoren gereconstrueerd.Het kasteel huisvest momenteel een restaurant en maakt deel uit van het complex van het gemeentehuis, waartoe ook het in 1989-'91 gebouwde stadskantoor (A. Kramersingel 4) en het voorm. Landschrijvershuis (Kasteel 31) behoren. Dit gepleisterde gebouw was in oorsprong een van de 17de- en 18de-eeuwse garnizoensgebouwen. Na in de 19de eeuw als militair hospitaal te hebben gediend, heeft het zijn huidige vorm gekregen rond 1900, toen het als gemeentehuis in gebruik werd genomen. Vóór het kasteel staan twee gedenktekens; een bronzen borstbeeld van de in 1851 in Coevorden geboren J.B. van Heutsz, de latere gouverneur-generaal van Nederlands-Indië, en een door C. Hammes in 1968 vervaardigd bronzen beeldengroepje van ‘De Drie Podagristen’ (Van der Scheer, Boom en Lesturgeon).
