Het voorm. stadhuis (Markt 3) kwam waarschijnlijk in oorsprong tot stand in 1586-'87. De voorgevel van dit tweelaagse dwarse pand heeft men in 1628 vernieuwd en voorzien van een getrapte middentopgevel.
Die in de 18de eeuw afgebroken gevel is herbouwd bij de restauratie van het stadhuis in 1962-'64. Na de samenvoeging van de gemeenten op Tholen in 1971 werd dit het bestuurscentrum en heeft men de buurpanden erbij getrokken, te weten het diepe huis Markt 2 (oorspronkelijk circa 1540) en het brede pand Markt 4 met een 18de-eeuws uiterlijk (bewaarschool van 1875 tot 1955).
Uitbreidingen aan de achterzijde volgden in 1971 en verdere nieuwbouw in 1979 en 1988.Bij de restauratie van 1962-'64 zijn interieuronderdelen van elders aangebracht, zoals in de oude raadzaal een 18de-eeuws schoorsteenstuk uit het voormalige paleis Kneuterdijk (Den Haag). In de hal en de raadzaal hangen uit het kasteel afkomstige portretten van de vroegere heren van Sint Maartensdijk en verwante vorsten, en verder kopieën van portretten door M. van Mierevelt, P. Moreelse en G. Honthorst.
