In 1282 droeg Jan I, heer van Cuijk, een versterkt huis onder Gassel bij Mill als vrijgoed op aan Floris V, graaf van Holland, met het recht er krijgsvolk in te kwartieren. Dit kasteel Tongelaer werd hem terzelfder tijd in leen uitgegeven.
Er is dan sprake van Tongelaer „castrum et monucionem”; het was toen een belangrijke vesting, en er is verondersteld, dat het al eerder als vluchtburcht dienst deed. Maar in 1296 verklaarde Jan van Cuijk de Hollandse graaf min of meer de oorlog door hem te berichten, dat hij geen leenman meer wenste te zijn. In datzelfde jaar werd Floris V vermoord. Jan van Cuijk werd ervan verdacht mede tegen hem te hebben samengespannen. Volgens een overigens onjuist verhaal zou die moord zelfs op kasteel Tongelaer zijn gepleegd! Hij was wel een van de aanvoerders, maar Van Cuijk zou bij de moordaanslag zelf niet aanwezig zijn geweest. Na die tijd werd Tongelaer in elk geval weer domein van de heren van Cuijk.In 1347 is er sprake van een ridder Jan gezegd van Tongelaer; met wie waarschijnlijk een Jan van Cuijk zal zijn bedoeld, immers in 1382 is Willem van Cuijk heer van Tongelaer. Al eerder was de heerlijkheid Cuijk zelf aan de Brabantse hertog geschonken, die in 1365 beloofde het slot en de heerlijkheid van Boxmeer-ook in dat land van Cuijk gelegen niet van het hertogdom Brabant te vervreemden. Op het einde van de 14de eeuw moet Tongelaer zoals uit opgravingen in 1964 is gebleken ook bewoond zijn geweest. In archiefstukken komt het kasteel dan voor als „Tongelarebroke” en als „palus Tungelare”. Onder het terrein binnen de grachten werden gewelven aangetroffen. Op dit kasteel zou in 1377 een beneficie van St.
Catharina gefundeerd zijn, en omstreeks 1400 is er sprake van een kapel van St. Catharina in Tongelaer, tussen 1421 en 1556 ook wel Onze Lieve Vrouwekapel genoemd. Als eerste slotkapelaan is Jan van Malle uit 1427 bekend.
In 1445 was Cornelis van Merwick heer van Tongelaer en na hem Willem, ambtsman van Kessel. Via zijn dochter Johanna, haar zoon Floris van Bocholt, diens dochter Maria van Bocholt, haar zoon Henrick heer van Berchem en Tongelaer, diens zoon Floris, diens zoon Hendrik Anton van Berchem, diens dochter Marie Anne Florence Thérèse van Berchem worden omstreeks 1723 haar kinderen, Joseph en Dorothea de Hinnisdael eigenaars van het goed, evenals de heerlijkheden Creynhem en Woluwe. In 1733 wordt ,,la Baronne de Rommerswael” als „dame de Tongelaer” genoemd. Zij is vermoedelijk de echtgenote van Joseph de Hinnisdael en Isabella van Hoensbroeck, die het kasteel nalieten aan hun zoon Henri Antoine Bernard de Hinnisdael, die trouwde met Marie-Therese de Mettecoven. Van hen erfde graaf Henri Bernard François de Hinnisdael Tongelaer. Deze kwam later onder curatele van zijn zwager, graaf Charles Thiennes en François baron de Copis.
Omstreeks 1770 was er van het oude kasteel alleen nog maar de vierkante toren over, waarbij enkele nieuwe bijgebouwen waren geplaatst .Tot l839 was Tongelaer in bezit van J. Charles graaf de Thiennes de Lombise. Toen in 1815 het koninkrijk der Nederlanden officieel tot stand kwam, werd deze commissaris-generaal van Justitie en later voorzitter van de Eerste Kamer der Staten-Generaal. Na zijn dood erfden Maria gravin de Thiennes de Lombise, die gehuwd was met Prosper graaf de Ribeaucourt, en haar zus, jkvr. Françoise gravin de Thiennes de Lombise, het kasteel. In die tijd werden de zeer fraaie eiken van Tongelaer gerooid ten behoeve van de verbreding van de Beerse Maas en bij koninklijk besluit moesten percelen van het landgoed onder Escharen en Gassel tot 30 duimen worden verlaagd.
De eigenaars waren zelden op Tongelaer, dat meestal door rentmeesters werd bewoond. Bij het kasteel, dat bezittingen had in Gassel, Escharen, Beers, Beugen, Mill en Linden, hoorden 274 ha. De familiebezittingen werden later onderling verdeeld.
In 1917 werd Tongelaer verkocht aan jkvr. Louisa van Nispen. Er ging allang het verhaal rond, dat er bij de Tongelaer schatten in de grond zouden zitten. Daarmee is bij die verkoop ook rekening gehouden. In de akte werd namelijk de voorwaarde gesteld, dat verkoper „zich voorbehoudt den eigendom van alle voorwerpen van kunst, oudheden, munten en schatten die zouden worden ontdekt in het vroegere kasteel en speciaal in den bij het te verkopene behorende toren (donjon). Dit voorbehoud zal komen te vervallen na verloop van twee jaren na de totstandkoming van de vrede welke een einde zal maken aan de tegenwoordige oorlog voor zover deze België betreft.” Nog geen jaar later werd het kasteel opnieuw verkocht, nu aan J.
H. en S. van Wagenberg uit Vlijmen. Uiteindelijk werd kasteel Tongelaer te koop aangeboden. In 1976 was de vraagprijs nog ƒ 1,8 miljoen, maar de Van Wagenbergs verkochten het huis met landgoed en boerderijen, een zevental, nog in hetzelfde jaar voor ƒ 4,3 miljoen aan G. Theeuwes uit Tilburg, die een b.v. Tongelaar oprichtte en deze verkocht in 1978 het landgoed met 248 ha voor ƒ 10,5 miljoen aan de Stichting Brabants Landschap.
In 1964 zijn op het binnenterrein nog fundamenten gevonden van een versterkt huis. In het poortgebouw zijn nog rollen aanwezig voor de kettingen van de reeds lang verdwenen ophaalbrug. De westvleugel, die tegen de toren werd aangebouwd, stamt uit het einde van de 18de eeuw, begin 19de eeuw en de noordvleugel uit de 18de eeuw. Aan deze laatste kant stond ook de kapel van Tongelaer. Tot dit kasteel behoren of behoorden de boerderijen: De Ooievaar, Groot Garisveld en Klein Garisveld, De Tien Morgen, Heihoek, Groot Kamerberg en Klein Kamerberg, de Meyelse Voort, de Benedenhof en De Doelen.
Bron: Anton van Oirschot, Middeleeuwse Kastelen in Noord-Brabant (1981).
