Het omgrachte kasteel Duivenvoorde (Laan van Duivenvoorde 4), gelegen ten zuidwesten van Voorschoten, bestond in oorsprong uit een 13de-eeuwse woontoren. Bij een verbouwing in 1631 in opdracht van Johan van Wassenaer van Duivenvoorde kreeg deze toren zijn maniëristische aanzicht.
Een vermoedelijk 16de-eeuws L-vormige bouwdeel werd toen uitgebreid tot een hoog opgaande middenbouw, geflankeerd door iets lagere dwarsvleugels aan weerszijden van het voorplein. Voor en achter bevinden zich geblokte zandstenen poortjes uit 1631.
Binnen dateren het trappenhuis en de beschilderde balkenplafonds en gemetselde poortjes in de voorhal uit die tijd. Arent van Wassenaer en Anna Margaretha Bentinck lieten het interieur in 1717 moderniseren, waarbij mogelijk naar ontwerp van Daniël Marot de Grote Zaal met betimmeringen en stucplafonds in Lodewijk XIV-stijl tot stand kwam.
In opdracht van H.J.C. baronesse van Neukirchen gen. Nyvenheim en haar echtgenoot, de Zeeuwse jhr.
J. Steengracht, volgden verdere interieurwijzigingen, waaronder een neogotisch portaaltje met stucgewelf (circa 1840) en een behang met bijbehorende stoffering in de Blauwe Logeerkamer (circa 1860).
Hun zoon H.A. Steengracht liet rond 1880 betimmeringen uit circa 1750 inbrengen; deze zijn afkomstig van het ambachtshuis te Oosterland (Z).
In 1958-'63 is het kasteel gerestaureerd onder leiding van E.A. Canneman.
Een deel van het kasteel is als museum ingericht.Waarschijnlijk rond 1717 werden de tuinen aanmerkelijk vergroot, waarbij de bescheiden 17de-eeuwse aanleg werd veranderd in een geometrische tuinaanleg, mogelijk naar ontwerp van Daniël Marot. In de loop van de 18de eeuw heeft men een deel van de parterres veranderd. Vanaf 1840 kreeg het park, wellicht op aanwijzing van J.D. Zocher jr., een landschappelijke aanleg. Van een in 1839 door de Engelse architect T.J. Donaldson gemaakt totaalontwerp voor het kasteel kwam rond 1845 alleen de terrasbrug tot stand.
Dit terras met aan weerszijden bruggen werd aangekleed met klimplanten en heesters. De 18de-eeuwse tuinvazen op de bruggen zijn vervaardigd door J.P. van Baurscheit sr. naar ontwerp van Daniël Marot.
Aan het begin van de oprijlaan bij de Veurseweg staat een ijzeren toegangshek met 18de-eeuwse gemetselde pijlers bekroond door ronde kasteelltorentjes. In het park staan verschillende 18de-eeuwse bijgebouwen, zoals een langgerekte tuinmanswoning (Laan van Duivenvoorde 2; gewijzigd 19de eeuw), een koetshuis met stal (bij nr. 2) en een dienstgebouw (nr. 3). In 1879 verrees het T-vormige jagershuis (nr. 1) met trapgevels in neorenaissance-stijl. Bij het jachthuis staat een botenhuis en bij de ten oosten van het kasteel gelegen 19de-eeuwse oranjerie heeft men in 1958-'63 een Amsterdamse houten theekoepel geplaatst (afkomstig van Prinsengracht 267).
