Van het kasteel Huis ter Nisse, dat tot 1843 aan de zuidzijde van het Dorpsplein stond, resteert de voormalige koetsierswoning (Dorpsplein 25), een dwars huis met aangebouwde stenen schuur. Het oudste deel stamt uit circa 1650.
Waarschijnlijk na de sloop van het kasteel, toen het kasteelterrein landbouwgrond werd, heeft men deze woning tot een boerderij uitgebreid. In de huidige, in 1973 in Engelse cottagetuinstijl aangelegde siertuin ligt een vliedberg (11de-12de eeuw).
Aan de Zuidweg bevindt zich het vroegere toegangshek van het kasteel in Lodewijk XV-stijl met twee bakstenen vleugelstukken tussen vier natuurstenen posten met vazen en de wapens van het geslacht Van der Nisse (circa 1760; gerestaureerd 1993).
