(Voorstraat 2) ligt op een aan drie zijden omgracht terrein; aan de zijde van het voorplein is de gracht in de 19de eeuw gedempt. Het onderkelderde complex bestaat uit drie vleugels met zadeldaken tussen trapgevels rond een kleine overdekte binnenplaats.
Aan de voorzijde daarvan staat een toren met ingesnoerde spits. Het oudste gedeelte van het kasteel is een mogelijk 13de-eeuwse kelder in de linkervleugel. Die vleugel zal verder, gelijk met de toren, in 14de of 15de eeuw tot stand zijn gekomen, gevolgd door de achtervleugel. Mogelijk na een plundering en brand in 1492 heeft men rond 1500 de rechtervleugel gebouwd en waarschijnlijk tegelijk de achtervleugel vernieuwd. Alle vleugels hadden oorspronkelijk één bouwlaag. In het midden van de 16de eeuw kreeg het kasteel zijn definitieve vorm.
De achter- en de rechtervleugel werden met een verdieping verhoogd, waarbij in de gevels banden van mergelsteen werden toegepast. Op de binnenplaats verrees een trappenhuis. In de 18de eeuw werd de binnenplaats overdekt en veranderd in een hal met lichtkoepel. Ook het interieur onderging ingrijpende wijzigingen. Het kasteel is in 1957-'66 gerestaureerd onder leiding van C.W. Rooyaards, waarbij het 16de-eeuwse gedeelte weer van kruisvensters is voorzien.
Het kasteel heeft interieurs en vensters uit de 16de, de 18de en de 19de eeuw. Zo is er een rijke midden 16de-eeuwse schouw in vroege renaissance-vormen, die hier waarschijnlijk in 1742 in gewijzigde vorm is geplaatst en die onder meer is voorzien van de wapens van de verschillende eigenaren, waaronder die van het geslacht Van Wijhe. In de hal bevinden zich stucreliëfs (1772).
Op het voorplein stonden oorspronkelijk twee bouwhuizen. Het meest oostelijke is bewaard gebleven (Voorstraat 6). Dit langgerekte pand dateert grotendeels uit de 18de eeuw maar heeft ook 16de-eeuwse muurdelen. Aan de noordzijde bevindt zich een mogelijk 16de-eeuwse toren met tentdak.
