(Herengracht 1) is een omgracht, nagenoeg vierkant kasteel met ronde hoektorens en in het midden van de oostgevel een vierkante poorttoren met ophaalbrug en gemetselde brug. Een kort na 1280 door graaf Floris V op een zandbank in de monding van de Vecht als dwangburcht gebouwd kasteel werd na zijn gewelddadige dood (1296) in 1297 verwoest door de bisschop van Utrecht.
Op de oude funderingen kwam in 1369-'73 voor Albrecht van Beieren het huidige kasteel tot stand. De hoofdwoonvleugel (het ‘hooge huys’) aan de westzijde bevat beneden kerkers, de Ridderzaal en de Prinsenkamer, en op de verdieping een wapenzaal en een slaapkamer. De in 1386 toegevoegde lagere noordoostvleugel herbergt beneden een keuken en de zogeheten Bisschopskamer of eetzaal. Op de verdieping bevinden zich een overdekte weergang en een kapel met houten tongewelf (gereconstrueerd). Aan twee zijden heeft het slot gekanteelde muren met een weergang op ontlastingsbogen. De ronde hoektorens hebben onderin kerkers.
In 1430 liet Splinter van Nijenrode een dijk om het slot leggen en vanaf 1577 werd deze dijk onderdeel van een aarden omwalling rondom Muiden (verder gemoderniseerd 1629). Pieter Cornelisz Hooft, in 1609 aangesteld als slotvoogd en drost, stichtte de Muiderkring. Dit kunstzinnige en geleerde gezelschap kwam tot zijn dood in 1647 op het slot bijeen. Na 1795 diende het kasteel voor militaire doeleinden. Een poging tot verkoop voor sloop in 1825 door de dienst Domeinen werd verhinderd door koning Willem I. Bij een in 1895-1910 uitgevoerde historiserende restauratie naar plannen van P.J.H.
Cuypers en J.W.H. Berden heeft men onder meer de kantelen gereconstrueerd en een in opdracht van Hooft gebouwde galerij en opgang (1631) verwijderd. Bij een volgende restauratie in 1956-'72 zijn diverse neogotische toevoegingen weer ongedaan gemaakt, maar zijn de algemene laat-19de-eeuwse reconstructies gehandhaafd. Het kasteel is toen in 17de-eeuwse stijl als museum ingericht.
Op de voorburcht of nederhof is in 1968 ter plaatse van een voorganger een nieuw poorthuis met klokkentorentje gereconstrueerd naar ontwerp van H. de Lussanet de Sablonière. De tuin is in 1954 bij de restauratie van de omgevende vestingwerken gereconstrueerd zoals die er in 1633 en 1672 uit zou hebben gezien. 19de-eeuwse remises werden gesloopt en naar plannen van J. Mezger werd een geometrische tuin aangelegd met een loofgang, een boomgaard en een kruidentuin (1983 herinrichting kruidentuin). In 1996 is ter aanvulling een nutstuin, de Warmoeshof, ingericht.
