Het oude stadhuis (Grote Markt 1) heeft zich ontwikkeld rondom het Schepenhuis, dat voor het eerst als zodanig wordt vermeld in 1403. Door aankoop van het rechter buurhuis, de ‘Leeuwenborch’ in 1498, en ‘De Olifant’ een poortgebouw over de St.-Annastraat in 1544 werd het stadhuis verder vergroot.
Daarna volgden nog uitbreidingen in de zijstraat en rond de achterplaats. In 1611 bouwde men voor het Schepenhuis en de ‘Leeuwenborch’ een nieuwe gevel in Gobertange-steen. Het benedengedeelte van die gevel, tot aan de eerste waterlijst, heeft een laat-gotische detaillering; hier is wellicht nog gebruik gemaakt van delen van een oudere gevel. Het bovenste deel, vooral de beeldnissen en de topgevel met fronton, lijstwerk, voluten en obelisken, toont de renaissance-stijl van het begin van de 17de eeuw. De topgevel is voorzien van de wapenschilden van Brabant en Bergen op Zoom aangebracht, de spreuk ‘Mille periculus supersum’ (Duizend gevaren overwonnen) en een door Peeter van den Gheyn in 1614 gegoten luidklokje.
De restauratie van het stadhuis in de jaren 1930-'38 stond onder leiding van H. van Heeswijk. De voorgevel werd ontdaan van de 19de-eeuwse bepleistering en kreeg weer stenen kruisvensters. Verder is de topgevel toen vrijwel geheel vernieuwd. Een in 1784 aangebrachte beeldnis met het beeld van Constantia (standvastigheid) verving men door een deur. De beeldnissen op de verdiepingen kregen reconstructies van de oorspronkelijke beelden uit 1613. Het beeld van Justitia (gerechtigheid) is vervaardigd door F.J. van Hall en dat van Prudentia (voorzichtigheid) door M.
Andriessen. Ten slotte werd het huidige bordes met gebeeldhouwd stadswapen voor het gebouw geplaatst. Na een onderbreking als gevolg van de Tweede Wereldoorlog kon men de restauratie van het complex in 1952-'54 afronden onder leiding van H. de Lussanet de la Sablonière. Toen heeft men ook bij het poorthuis het bovendeel van de gevel (vanaf de waterlijst) naar een 18de-eeuwse afbeelding hersteld met kruisvensters en Vlaamse gevels.
Het Schepenhuis en het huis ‘Leeuwenborch’ bestaan beide uit een voor- en een achterhuis en zijn beide onderkelderd. Bij de stadsbranden van 1397 en 1444 hebben ze schade opgelopen en ze zijn daarna hersteld of herbouwd. Tegen de achtergevel is in 1589 een lage traptoren met halfronde sluiting aangebouwd, uitgevoerd in baksteen met natuurstenen banden en voorzien van een ronde lage spits; in de toren bevindt zich een houten spiltrap. De achterhuizen van beide panden hebben in 1916 een extra verdieping met plat dak gekregen. Door de restauraties en verbouwingen is van het oorspronkelijke interieur relatief weinig over of op zijn oude plaats. De belangrijkste interieurstukken in het Schepenhuis zijn: een laat-gotische, natuurstenen schouw, een houten trap uit 1619 gewijzigd in 1952 met fraai bewerkte balusters en leuningen, en ten slotte gebeeldhouwde balkconsoles.
Het pand ‘Leeuwenborch’ heeft een tweebeukige, 14de-eeuwse kelder met kruisribgewelven, in het midden rustend op ronde zuilen met kapitelen in de stijl van de Scheldegotiek. Ook in dit gebouw zijn verschillende renaissance-sleutelstukken bewaard. De zogenaamde Markiezenzaal op de bel-etage is verbouwd in 1938 en 1972. De glas-in-loodramen zijn vervaardigd door H. Basart (1938). In de zaal hangt een 18de-eeuws wandtapijt van A.
Trautwijn. De Witte Zaal op de eerste verdieping heeft een schouw en muurkastjes uit 1619 en een stucplafond uit 1753. De kapconstructie van dit deel van het stadhuis dateert waarschijnlijk van na de stadsbrand van 1444. In 1611 is de kapconstructie van het Schepenhuis aan het oudere deel aangepast.
Van het onderkelderde, vroeg-16de-eeuwse poortgebouw ‘De Olifant’ is het rechter deel voorzien van een insteekverdieping. Tot de aankoop door de stad in 1544 diende het als zijhuis van het huis ‘De Draak’ (Grote Markt 38). Omstreeks 1588 werd het gebruikt als accijnskantoor en daarna heeft het nog vele bestemmingen gehad. Het ondiepe pand is in 1881 aan de achterzijde uitgebreid. De bovenste verdieping heeft een inrichting uit 1916 met wandbetimmering in 17de-eeuwse trant.
Aan de St.-Annastraat achter ‘De Olifant’ bevinden zich enkele aanbouwen uit 1612, oorspronkelijk in gebruik als secretarie en griffie. Aan de oostzijde van de binnenplaats achter het stadhuis staat de Nieuwe Herenkamer uit 1638, opgetrokken in baksteen met natuurstenen banden. Het gebouw heeft een in 1702 dichtgemetselde galerij met geprofileerde korfbogen en hergebruikte hardstenen zuilen met koolbladkapitelen. De trapgevel aan de noordzijde is voorzien van jaartalankers. Het interieur bevat gebeeldhouwde en gepolychromeerde balkconsoles. Aan de westzijde van de binnenplaats, langs de St.-Annastraat, bevinden zich het voorm. politiebureau uit 1888 en het voorm. archiefgebouw uit 1934-'35.
Diverse oude bouwfragmenten uit het stadhuiscomplex zijn verwerkt in een van de gevels aan de binnenplaats. Ook het achterpoortje van de binnenplaats is uit verschillende bouwfragmenten samengesteld. Achter dit poortje verrees in 1976-'77 nog een nieuwe secretarie. Het stadhuis heeft nu voornamelijk een representatieve functie.
