(Kasteellaan 1), gelegen op een dubbel omgracht terrein, bestaat uit vier vleugels met forse ronde hoektorens rond een binnenplein. De hoge zuidvleugel bevat onder meer de ridderzaal.
Aan de noordzijde staat het iets vooruitspringend poortgebouw. Het kasteel is rond 1355 gebouwd in opdracht van Arent van Herlaer.Na een brand in 1590 is het uiteindelijk voornamelijk tussen 1640 en 1667 herbouwd in opdracht van Thomas Walraven van Arkel. Grotendeels met gebruik van het middeleeuwse muurwerk werden de oorspronkelijke contouren en bouwmassa hersteld. De 16de-eeuwse toegangspoort in de ondiepe noordvleugel heeft een 17de-eeuwse natuurstenen omlijsting met daarin de alliantiewapens van Thomas Walraven van Arkel en Johanna Barbara de la Kethulle. De oostvleugel kwam pas in de 18de eeuw gereed, waarbij ook het interieur sterk werd gewijzigd. Arthur baron van Woelmont liet tussen 1856 en 1873 neogotische interieurwijzigingen aanbrengen. Van 1876 tot 1944 was in het kasteel een clarissenklooster gevestigd.
Men voegde hiervoor in 1893 aan de westzijde een kapel toe, naar ontwerp van J.H.H. van Groenendael. In 1944-'45 werd het kasteel door oorlogsgeweld zwaar beschadigd. Bij de restauratie tussen 1959 en 1975, onder leiding van H. Korswagen en Ch.B. Estourgie, heeft men de situatie van vóór de brand van 1590 zoveel mogelijk gereconstrueerd.
Op de voorburcht staat een oorspronkelijk uit 1564 daterend, maar eveneens gereconstrueerd poortgebouw met topgevels en een gevelsteen met de wapens van Van Arkel en Gelre. Aangrenzend aan het poortgebouw bevindt zich een langgerekt 17de-eeuws bouwhuis. Het gietijzeren toegangshek op de buitengracht dateert uit 1769 en is afkomstig van het landgoed Hoogerhuizen te Neerbosch.
