Het Huis te WOUW was, weleer, een sterk en zeer ruim Kasteel, niet verre van het Dorp Wouw gelegen. Weleer plagten de Heere van Bergen op den Zoom hun verblijf op dit Huis te houden, geduurende een groot gedeelte van den Zomer, van wegen deszelfs aangenaame ligginge en bekwaame gelegenheid tot de Jagt.
In den aanvang der Zestiende Eeuwe hieldt de vermaarde DESIDERIUS ERASMUS, op verzoek en in de tegenwoordigheid van den Heere van Bergen, en van veele andere aanzienlijke en voornaame Mannen, op het Huis te Wouw, een mondgesprek met HENDRIK CORNELIS AGRIPPE, over de zo genaamde Magische of Toverkunsten; waarin de eerstgenoemde de onzekerheid en bedriegelijkheid dier kunsten, met kragt van redenen, betoogde. Geduurende den oorlog tusschen Spanje en de Vereenigde Gewesten, wierdt het Huis te Wouw, nu van den eenen, dan van den anderen, belegerd en bemagtigd. JAN VAN WITHEM, Heer van Beersele, zijnde in den Jaare 1581 Heer van Wouw, leverde het in handen des Hertogs VAN PARMA, op welken het, twee jaaren daar naa, door den Maarschalk VAN BIRON, ten behoeve der Staaten, wierdt heroverd. Het Kasteel verwisselde, eerlang, wederom van eigenaar. De Raad van Staaten hadt de Slotvoogdij gesteld in handen van zekeren Franschman, MARCHAND genaamd; een persoon, die den Staaten geen goed hart toedroeg, en zich nu van eene gelegenheid, hem aangeboden, bediende, om zijne kwalijkgezindheid aan den dag te leggen, door het sluiten van een verdrag met den Hertog VAN PARMA, aan welken hij het Slot verkocht voor tienduizend guldens voor hem zelven, en drie maanden soldij voor zijne Krijgsbenden. De overdragt geschiedde op den zeventienden Januarij des Jaars 1587.
Van dien tijd af verstrekte het Slot, geduurende verscheiden jaaren, tot eene schuilplaats voor Struikroovers, die niet alleen, ten platten Lande, veele schade deeden, maar ook de scheepvaart, tusschen Holland en Zeeland, merkelijk belemmerden. Prins MAURITS maakte hier aan een einde, in den Jaare 1606. Naa de bezetting, bestaande uit vijfëntachtig man, tot de overgave te hebben genoodzaakt, schonk hij het Slot aan zijnen Neeve HERMAN VAN DEN BERG, onder voorwaarde dat deeze eene volmaakte onzijdigheid bewaaren zoude. De overblijfzels van eenige ronde Torens en brokken van zwaar Muurwerk, zijn de eenige overblijfzels der aloude Heerlijkheid.Zie J. LE ROY, Notitia Marchionatus; BOR, Nederlandsche Oorlogen.
