Het voorm. kasteel van Oijen (Oijense Bovendijk 34), gelegen ten zuidoosten van het dorp, werd in 1361 gebouwd in opdracht van Maria van Brabant die was gehuwd met hertog Reinald III van Gelre.
Na haar dood in 1399 kwam het in Gelders bezit, waardoor het in het begin van de 16de eeuw een belangrijke rol speelde in de vijandigheden tussen Brabant en Gelre. In 1511 werd het kasteel door inwoners van Oss en 's-Hertogenbosch ingenomen en gesloopt. De contouren van het oude, omgrachte kasteel zijn nog zichtbaar aan de westzijde van de huidige gebouwen. Op de fundamenten van de voorburcht verrees in 1594 een nieuw kasteel. J. Smits liet dit kasteel in 1837 grotendeels slopen; de behouden hoekpaviljoens met ronde hoektorens aan weerszijden van de verdwenen toegangspoort richtte hij in als woonhuis en boerderij. Voordien deden deze, waarschijnlijk 17de-eeuwse, paviljoens dienst als paardenstal en koetshuis.
