Het voorm. paleis Kneuterdijk (Kneuterdijk 20) werd in 1716-'17 gebouwd naar ontwerp van Daniël Marot als herenhuis voor Johan Hendrik graaf van Wassenaer-Obdam. Dit in de hoek van de Kneuterdijk gelegen gebouw heeft een grotendeels in zandsteen uitgevoerde, geknikte gevel in Lodewijk XIV-stijl.
De oorspronkelijke bekroning van de middenpartij is vervangen door de huidige achtzijdige koepelbekroning bij de voor kroonprins, later koning Willem II uitgevoerde verbouwing en uitbreiding in 1817-'20 naar plannen van J. de Greef en A. Noordendorp.
Uit die tijd dateert ook de in empire-stijl uitgevoerde balzaal met gewelfd cassettenplafond.Van de tussen 1840 en 1849 verwezenlijkte vergroting van het paleis, waarvoor koning Willem II grotendeels zelf de bouwplannen maakte, resteert de als kunstgalerij opgetrokken Gotische Zaal (Paleisstraat 1-3; 1840-'42). Dit gebouw met steunberen en spitsboogvensters is een Engels georiënteerd ontwerp in vroeg-neogotische stijl (Willem II-gotiek) met een rijk uitgevoerde ziende kapconstructie (enkelvoudig hangwerk). De overige bouwdelen van deze uitbreidingsfase werden kort na de dood van Willem II gesloopt wegens bouwkundige gebreken en ten behoeve van de aanleg van de Paleisstraat. Aan de Heulstraat staat het voorm. koetshuis (tweede kwart 18de eeuw).
Het paleis is in 1978-'83 verder verbouwd naar ontwerp van C. Wegener Sleeswijk ten behoeve van de huisvesting van de Raad van State (samen met de buurpanden Kneuterdijk 22-26).
