(Langbroekerweg 10) is in opzet een rechthoekig kasteel met hoektorens verbonden door bakstenen weermuren, die op kelderniveau nog grotendeels aanwezig zijn. Het kasteel werd aan het eind van de 13de eeuw gesticht door de Domproost Adolf van Waldeck.
In 1322 werd dit kasteel verwoest. Pas een kwart eeuw later heeft men het met dunnere muren vanaf de begane grond herbouwd. In de 16de en de 17de eeuw kwamen er aan drie zijden van het binnenplein woongebouwen; deze zijn in het huidige gebouw opgenomen. In 1796 heeft men het kasteel ingrijpend verbouwd, waarbij een deel van de bebouwing, waaronder het poortgebouw en een hoektoren, werd gesloopt. Aan de westvleugel werd een nieuwe vestibule toegevoegd. Aan de pleinzijde kregen de muren een klamplaag.
Er ontstond een regelmatig landhuis met een rechthoekige hoofdvleugel en twee naar voren springende zijvleugels. Deze verbouwing stond mogelijk onder leiding van de Amsterdamse stadsbouwmeester Abraham van der Hart; B.W.H. Ziesenis ontwierp een deel van het interieur. Door het middeleeuwse muurwerk aan de grachtzijde te bepleisteren werd het witte kasteel een blikvanger in het al aanwezige landschapspark. De grachten en vijvers werden vergraven tot slingerende waterpartijen met eilanden. Golvende bosranden, solitaire boomgroepen en zichtlanen die nog zijn te herkennen completeerden het beeld.
Van 1920 tot aan zijn dood in 1941 woonde de Duitse ex-keizer Wilhelm II op Huis Doorn. Hij richtte het huis opnieuw in, met gebruikmaking van zijn bezittingen uit Duitse paleizen. In opdracht van Wilhelm heeft de tuinarchitect Hugo Poortman het park veranderd, waarbij de oprijlaan naar de stillere Langbroekerweg werd verlegd. Hier verrees in 1921 het neorenaissancistische poortgebouw naar ontwerp van H.A. Pothoven. In 1928 volgde de garage met klokkentoren, een ontwerp van gemeentearchitect F.G.
Flieringa. In hetzelfde jaar werd ten westen van het park een rosarium aangelegd als geschenk van de keizer aan de bevolking van Doorn. Dat terrein wordt nu als speeltuin gebruikt. Het mausoleum van de ex-keizer, ten noorden van het huis, werd in 1942 naar plannen van de Berlijnse architect E. Kiessling voltooid. In het park staan onder meer nog een laat-18de-eeuwse, nogal gewijzigde oranjerie, een later in chalet-stijl verbouwde dienstwoning uit 1838 en een neogotisch kapelletje uit ongeveer 1840.
De gedeeltelijk op gebogen houten ribben rustende, ronde duiventoren dateert vermoedelijk uit dezelfde tijd. De gepleisterde toren heeft een overkragende en met leien gedekte spits.
