Kasteel De Waardenburg (Waalbandijk 13) is in 1265 gesticht door Rudolf de Cock als een houten versterking. Kort daarna kwam een omgrachte stenen burcht tot stand met een veelhoekige ringmuur, drie halfronde torens, een vierkante poorttoren en een zaalgebouw tegen de ringmuur.
In de 14de eeuw werden nog twee grote vierkante torens toegevoegd en verhoogde men de ringmuur met de halfronde torens.In de loop van de 15de en 16de eeuw werden tegen de ringmuur aanbouwen opgetrokken. Deze zouden in de jaren twintig van de 17de-eeuw grotendeels worden gewijzigd en vernieuwd. Bij de verovering van het kasteel door Willem van Oranje in 1574 werd de zuidzijde vernield en ging de voorburcht aan de westzijde verloren. Na de sloop van de ruïneuze delen rond 1703 resten thans een open binnenplein met drie vleugels die onder een stompe hoek op elkaar aansluiten. De korte westvleugel grenst aan de middenvleugel (noordzijde) die onder meer een halfronde toren en de toegang vanaf het binnenplein omvat, die rond 1827 is ontstaan. De oostvleugel wordt gevormd door een verlaagde 14de-eeuwse vierkante toren met lessenaarsdak en een rond 1896 voor J. baron van Pallandt opgetrokken uitbreiding. Tussen de middenvleugel en de oostvleugel staat een achtkantige traptoren.
