(Kronenburgplantsoen 9), dat in 1279 voor het eerst wordt genoemd, werd in 1417 gesloopt. Pas een halve eeuw later zou Frederik van Egmond het laten herbouwen.
Aan twee zijden van een groot binnenplein verrees in de laatste decennia van de 15de en de eerste decennia van de 16de eeuw een uitgestrekt complex. Dat kreeg in 1528-'31 als het ware zijn bekroning met de bouw van een hoge, nagenoeg vierkante, traptoren met schilddak.Toen het kasteel in 1888 werd afgebroken, bleef alleen de toren gespaard. Hij is na de Tweede Wereldoorlog gerestaureerd. De gevels van de toren hebben natuurstenen speklagen en smalle vensters met stenen tussendorpels en ontlastingsbogen. Inwendig bevat hij alleen een bijzonder ruim opgezette wenteltrap, met bordessen en met sierlijk gemetselde tudorbogen en ribgewelven en een kleine bovenzaal met schouw en uitgebouwd secreet. De bovenzaal kan als belvédère worden beschouwd. De toren wordt toegeschreven aan de bouwmeester Rombout Keldermans II.
