De ruïne van kasteel Ravesteyn (bij Markt 11-12) ligt op een omgracht terrein in de tuin van het ambachtsherenhuis. Een rechthoekige donjon met ronde hoektorens verrees midden 13de-eeuw in opdracht van Hugo van Heenviet.
Rond 1350 voegde men aan de oostzijde een woonvleugel toe en omstreeks 1500 volgde een verdere uitbreiding (opgegraven 1959). Het kasteel werd in 1572 door de Watergeuzen verwoest en verviel daarna tot ruïne (geconsolideerd 1960-'68).
