Kasteel Heeswijk (Kasteel 4), ten westen van het dorp, werd begin 12de eeuw gesticht als ronde motteburcht. Na 1350 begon de bouw van de omgrachte onregelmatige weermuur van de hoofdburcht, waarbinnen in het begin van de 15de eeuw aan de noord- en oostzijde een L-vormige onderkelderde woonvleugel met twee ronde hoektorens en een arkeltoren tot stand kwam.
In het midden van de 16de eeuw verrees de eveneens omgrachte voorburcht, met dienstvleugels en poortgebouw, voorzien van kruisvensters en speklagen. Na 1603 werd enige oorlogsschade hersteld. Bij een verbouwing tussen 1655 en 1672 werd fraai stucplafond aangebracht en de houten bordestrap op driehoekige plattegrond vernieuwd en verhoogd. In 1730 sloopte men de ringmuren en het poortgebouw van de hoofdburcht. De zuidwestelijke toren werd verlaagd en ingericht als theekoepel. In 1835 kwam het kasteel in bezit van A.J.L. baron van den Bogaerde.
Hij liet de oude noordvleugel verdubbelen en als fervente verzamelaar van oudheden gaandeweg talloze van elders afkomstige bouwfragmenten inmetselen. De oostvleugel van het kasteel werd in 1835 vervangen door een nieuwgebouwde wapenzaal annex kapel in vroege neo-gotische stijl.
In 1871 volgde een tweede grote verbouwing in neogotische stijl onder leiding van P.M.F. Snickers. Op de verlaagde zuidwestelijke toren verrees de zogeheten ‘IJzertoren’. Toren en wapenzaal verbond men door een open galerij. Door interieurverbouwingen ontstonden een Chinese kamer (1876) en een Witte kamer (1881). In 1895 werd het grootste deel van inboedel geveild.
De in de kapel ingemetselde maniëristische onderdelen afkomstig uit de Bossche St. Jan, waaronder een cartouche geflankeerd door engelen (1620) en twee zandstenen altaarpanelen, bleven behouden. Bij een restauratie in 1951 werden de aangebrachte bouwfragmenten weer verwijderd en de bestaande brug door een simpeler exemplaar vervangen. Rond het kasteel ligt een park met oprijlanen en zichtassen. Aan westzijde bevindt zich een moestuin met druivenkas en een toegangshek met torenvormige terracotta hekpijlers. De oranjerie annex het koetshuis (Kasteel 1) stamt uit omstreeks 1890.
