Het hofje van Mevrouw van Aerden (Kerkstraat 57-89), bestaande uit vier vleugels om een ruime binnenplaats, werd gebouwd op de plek van het in 1574 verwoeste kasteel. Dit door Maria Ponderus, weduwe van de Haagse notaris Pieter van Aerden, gestichte hofje voor twaalf bejaarde vrouwen kwam in 1770-'72 tot stand naar plannen van C.P.
Timmermans. De voorgevel met dubbele bordestrap en hardstenen middenpartij met segmentvormig fronton in Lodewijk XV-stijl toont de wapens van de stichteres en de eerste regenten.
De tegenovergelegen vleugel bevat een middenpaviljoen met koepeldak en dubbele bordestrap. Hier bevindt zich een regentenkamer met schouw en stucplafond in Lodewijk XV-vormen en de 17de-eeuwse schilderijenverzameling van Pieter van Aerden.
Het hofje werd gemoderniseerd in 1860 en uitgebreid tot vijftien woningen in 1875 en 1881. Bij de restauratie in 1974-'76 (T. van Hoogevest) zijn aan de straatzijde een trouw- en een raadzaal ingericht.
De toen in de boomgaard aan de zuidwestzijde aangetroffen restanten van het kasteel zijn in het zicht gelaten.
