De kasteelruïne (Hertogin Johanna van Brabantstraat 1) is een vrije reconstructie op oude fundamenten van het kasteel van de heren van Heusden dat tot de 12de eeuw teruggaat.
Het in de 14de en de 15de eeuw uitgebreide kasteel kwam in 1579 binnen de vesting te liggen; uiteindelijk diende het als munitiedepot. Een ontploffing in 1680 maakte een einde aan het kasteel. De reconstructie werd uitgevoerd in 1987-'88.
