Kasteel d'Oultremont (Kasteellaan 1), gelegen ten oosten van het dorp, wordt ook wel het kasteel van Drunen genoemd. Het in oorsprong mogelijk 15de-eeuwse kasteel behoorde waarschijnlijk sinds 1670 tot de bezittingen van de heren van Drunen en vanaf 1707 tot die van de graven d'Oultremont.
In 1795 brandde het nagenoeg geheel af. De huidige vorm, een gebouwencomplex op T-vormige plattegrond, is grotendeels het resultaat van een in 1875 uitgevoerde verbouwing en uitbreiding naar ontwerp van H.J. van Tulder. Daarbij voorzag men de ingang met flankerende achtkantige torens van een trapgevel en smalle gekoppelde rondboogvensters; de linkervleugel kreeg arkeltorentjes. In 1989 werd het kasteel opgenomen in pretpark ‘Het land van Ooit’, waarbij het roze werd geschilderd en uitgebreid met een grote serre naar plannen van J.A. van Poppel.
