Het voorm. kasteel Ruwenberg (Ruwenbergstraat 1) wordt in het begin van de 15de eeuw genoemd. Het huidige gebouw bestaat uit twee haaks geplaatste vleugels met op de verbinding een achtkante traptoren uit 1537, mogelijk gebouwd in opdracht van Jan van Raveschot.
De slanke toren met laat-gotische details heeft lichtsleuven en spaarnissen met drie- en vierpasversiering. In 1820 werd het verkocht aan notaris P.H. Meurs die in 1822 het voorm. koetshuis (Ruwenbergstraat 3) liet bouwen. In 1851 kwam het in bezit van de Fraters van Tilburg. De door hen gepleegde toevoegingen zijn in 1988 gesloopt ten behoeve van de bouw van een conferentieoord.
