Kasteel Gemert (Ridderplein 11-17) bestaat uit een omgracht terrein met voorburcht en park en een eveneens omgrachte hoofdburcht, waar door de Duitse Orde onder het bewind van Iwan van Cortenbach (1410-'34) werd begonnen met de bouw van een kasteel dat in de loop der tijd nog diverse keren verbouwd en uitgebreid zou worden.
Van het middeleeuwse kasteel rest nog het zuidwestelijke hoekpaviljoen met aangrenzend poortgebouw, dat blijkens een opschrift boven de doorgang in 1548 werd verbouwd. Het 15de-eeuwse hoekpaviljoen is een van de weinige voorbeelden van profane gotische bouwkunst in Noord-Brabant. Het heeft twee verdiepingen boven een hoog souterrain en een steil zadeldak tussen twee met spaarnissen en traceringen versierde trapgevels. Drie hoeken zijn voorzien van uitkragende arkeltorentjes en de vierde van een traptoren. De natuurstenen venster- en deuromlijstingen hebben in de meeste gevallen aan de bovenzijde een accoladevorm. De voorpoort stamt uit 1606-'07.
Het torenvormig toegangsgedeelte heeft sleuven met kantblokken voor de ophaalbrug en een nis met 16de-eeuws Mariabeeld. Aan weerszijden bevinden zich lage vleugels en in de zuidwesthoek een vierkante toren met vensters in maniëristische vormen. Het hoofdgebouw van de hoofdburcht werd in 1740 opgetrokken boven de gewelfde kelders van een middeleeuwse vleugel, naar plannen van Martinus van Gemert. De middenrisaliet heeft een fronton met wapens in een Lodewijk XIV-omlijsting. Het mansardedak dateert van na een brand in 1883. De oprijlaan naar de voorpoort is toegankelijk via een sierlijk smeedijzeren hek uit 1740.
Na de opheffing van de heerlijkheid in 1794, diende het kasteel onder meer als raadhuis en katoenfabriek. Sinds 1928 is het studiehuis van de Congregatie van de Paters van de Heilige Geest.
