Het kasteel (Kasteelplein 1) is een omgracht en onderkelderd gebouw van vier om een binnenplaats gelegen vleugels met uitspringende ronde hoektorens. Het gebouw is toegankelijk via een stenen brug.
De bouw van het kasteel begon omstreeks 1400, waarbij oorspronkelijk drie woonvleugels de binnenplaats omringden en de voorzijde werd afgesloten door een weermuur met toegangspoort.In 1549 teisterde een brand het gebouw, waarna enkel grote delen van het muurwerk overeind waren gebleven. Bij de herbouw verrezen tevens een nieuwe ingangsvleugel met trapgevel boven de poort - en vierkante hoekpaviljoens met lage ingesnoerde spitsen. Mogelijk is in dezelfde bouwfase de westvleugel verbreed. Het kasteel doorstond ongeschonden de belegering in 1602 en de bezetting door de Fransen in 1672. Bij een verbouwing in 1683 kreeg de zuidvleugel aan de binnenplaats een hoofdingang voorzien van een topgevel in barokke vormen. De ronde hoektorens gaf men nieuwe, hoge achtkante spitsen. De buitenmuren kregen allengs diverse vensters, waardoor het oorspronkelijke weerbare karakter steeds meer verloren ging.
Na jaren van spaarzame bewoning werd het kasteel in 1781 verkocht aan C.F. Wesselman, muntmeester van Utrecht. Hij liet het pand met nieuwe schoorstenen en stucwerkplafonds weer bewoonbaar maken. In 1921 werd het kasteel bestemd tot raadhuis, waartoe naar plannen van J.W. Hanrath een uitgebreide verbouwing plaats vond. Aan de kant van de binnenplaats werden de zuid- en de oostvleugel verdubbeld, waarbij de 17de-eeuwse zuidgevel moest wijken.
In de hoek tussen west- en zuidvleugel verrees een moderne ronde traptoren. Sinds 1982 doet het kasteel dienst als museum. Inwendig bevat het gebouw nog kelders met middeleeuwse gewelven en enkele vertrekken met 18de- en 19de-eeuws stucwerk en enige oude schouwen. Aan weerszijden van het voorplein, dat deel uitmaakt van het in 1921 naar plannen van L.A. Springer aangelegde wandelpark, staan twee kleine torens die dateren van na de brand van 1549 en die eens als wachtgebouw en duiventoren dienst deden.
