Stad ontstaan op een zandrug, de ‘Zoom’, in een veenachtig gebied tussen de Scheldedelta en de westrand van het Brabants zandplateau. Aan het begin van de 13de eeuw ontgon men de veengronden (de Meeren) ten oosten van de Zoom.
Voor de afwatering daarvan heeft men de zandrug doorgraven met de zogeheten Grebbe, die het noordelijke deel van de latere stad doorkruiste vanaf de Korenmarkt tot aan de Haven.In de eerste helft van de 13de eeuw ontving Bergen op Zoom stadsrechten van de heer van Breda. Rond de Grote Markt had zich toen een bescheiden stedelijke kern gevormd bij de St.-Gertrudiskerk. Het marktterrein omvatte waarschijnlijk eerst ook nog het bouwblok tussen Fortuinstraat, Kortemeestraat en Kremerstraat. Iets van de Markt verwijderd, aan de Wouwsestraat, lag het St.-Maartensgasthuis. De Markt was het kruispunt van enkele landwegen, die in de stad de hoofdassen gingen vormen: vanuit het noorden de Steenbergsestraat Fortuinstraat, vanuit het oosten de Wouwsestraat Zuivelstraat en vanuit het zuiden de Korte Bosstraat Hoogstraat.
De stad was belangrijk als voorpost van het hertogdom Brabant tegen het verder doordringen van de invloed van de graaf van Holland en Zeeland. Vanaf 1287 vormden stad en land van Bergen op Zoom een zelfstandige heerlijkheid, afgescheiden van de heerlijkheid Breda. De oudst bekende ommuring van de stad werd omstreeks 1330-'35 gebouwd. Het min of meer ronde tracé van de muur liep binnen de ring Westersingel, Noordsingel, Van de Rijstraat, St.-Josephstraat, Kloosterstraat en Koepelstraat. Van de vier poorten bleef alleen de Lievevrouwepoort bewaard. Buiten die poort moet zich al in de 14de eeuw een voorstad hebben ontwikkeld.
De stad kreeg pas na enige tijd een plaats in de handelsroute vanuit Antwerpen via de Schelde naar het noorden. Omdat Bergen op Zoom op enige afstand van die rivier lag, moesten de schepen via een bochtige kreek en een gegraven waterloop de Oude Haven de stad bereiken. Door de verbinding met de Schelde was deze haven een getijdehaven. De Lievevrouwestraat vormde de verbinding tussen haven en markt. Vanaf het midden van de 14de eeuw hield men te Bergen op Zoom twee vrije jaarmarkten, met als belangrijkste handelsgoederen Engels laken, wol en meekrap.
De grote stadsbrand van 1397 legde vrijwel de gehele stad in de as. De huizen langs de hoofdstraten werden kort daarna weer herbouwd, zij het veelal nog in hout. De in de tweede helft van de 14de eeuw ten noorden van de Grebbe aangelegde Nieuwe Markt kreeg omstreeks 1400 de bestemming van vismarkt (nu St.-Catharinaplein). Hier werd het St.-Jacobsgasthuis gebouwd. In 1444 trof andermaal een grote brand de stad. De bloeitijd van Bergen op Zoom lag tussen 1470 en 1530.
In die tijd raakten de terreinen tussen de hoofdassen verder bebouwd. Men legde enkele nieuwe straten aan in het stadsdeel ten noorden van de Grebbe. Die waterloop raakte in de loop der tijd ook steeds verder overkluisd. De minderbroeders, de cellebroeders en de cellezusters vestigden zich in de stad en reeds eerder hadden de karmelieten en de begijnen hun ‘cellen’ in de stad ingericht. De stedelijke welvaart werd gebruikt om de St.-Gertrudiskerk ambitieus te vergroten; een tweede vergroting moest omstreeks 1545 worden gestaakt. Een ander belangrijk bouwproject was de vergroting van het stadspaleis van de heren van Bergen op Zoom tussen 1485 en 1515. In 1533 werd de heerlijkheid door keizer Karel V tot markiezaat verheven, waarna het stadspaleis werd aangeduid als de Markiezenhof.
Belangrijke stedenbouwkundige ingrepen in het laatste kwart van de 15de eeuw waren de inrichting van de Korenmarkt (rond 1482), de aanleg van straten in de zuidwesthoek van de stad (Roskamstraat, Lindebaan) en de omwalling van het Havenkwartier buiten de Lievevrouwepoort (1484-'91). De omwalde voorstad kreeg in 1505-'08 aan de westzijde een stenen front met twee landpoorten en een waterpoort. De Lievevrouwepoort bleef na de stadsuitbreiding in gebruik als gevangenis.
Voor de stedelijke nijverheid waren de meekrapindustrie (meestoven) en de pottenbakkerij belangrijk. In de bloeiperiode was de stad aantrekkelijk voor lakenhandelaren en handelsvestigingen van Engelse kooplieden en de Duitse Hanze. De handelspositie van de stad verminderde echter sterk vanaf 1530, toen na de St.-Felixvloed de Oosterschelde begon te verzanden en de scheepvaart meer en meer uitweek naar de Westerschelde. Hierdoor raakten ook de Bergse jaarmarkten in verval.
In de 17de en 18de eeuw was de pottenbakkerij een belangrijke tak van nijverheid in Bergen op Zoom. De ontwikkeling van de stad werd toen echter vooral bepaald door haar strategische ligging bij de grens tussen de Noordelijke en de Zuidelijke Nederlanden. Na de belegering van 1588 door Spaanse troepen onder bevel van Parma werd de stad versterkt met een uitgebreid stelsel van bastions, lunetten en ravelijnen, naar plannen van onder meer Adriaan Anthonisz. en David van Orliëns. De nieuwe vesting was pas enkele jaren voltooid toen Spaanse troepen onder bevel van Spinola in 1622 de stad belegerden.
De oude stadsmuur werd afgebroken bij de modernisering en uitbreiding van de vestingwerken tussen 1698 en 1713, naar plannen van Menno van Coehoorn. Bij een belegering door Franse troepen in 1747 legden de beschietingen het zuidoosten van de stad en een groot deel van de St.-Gertrudiskerk in de as. Het opruimen van enkele verwoeste huizen maakte vergroting van het plein achter de kerk mogelijk (Parade/Thaliaplein). De risico's van de vestingfunctie werden nog eens duidelijk toen in 1831 het kruitmagazijn De Stoelemat ontplofte, waarbij grote schade werd aangericht in de omgeving van de Lievevrouwepoort. De industrialisatie kwam in het midden van de 19de eeuw op gang door de vestiging van ijzergieterijen (als eerste Asselbergs in 1847), suikerfabrieken (als eerste die van P. Wittouck in 1862), een spiritusfabriek en een potasraffinaderij.
De fabrieken kwamen vooral te liggen bij de Lindebaan en rond de Haven en het Havenkanaal. Bergen op Zoom kreeg in 1863 een station aan de nieuwe spoorlijn Roosendaal-Vlissingen.
De vesting Bergen op Zoom werd in 1867 opgeheven. De ontmanteling vond plaats in de jaren 1868-'90 onder leiding van ingenieur der Genie, F.W.J. van Gendt. Ten zuiden van en oosten van de oude binnenstad kwam een relatief omvangrijke stadsuitbreiding tot stand. Ten noorden van de binnenstad werd eerst de Burg.
Stulemeijerlaan bebouwd. In het interbellum verrees tussen de Noordsingel en de omgelegde waterloop De Zoom een hele nieuwe wijk. De stad groeide toen ook verder ten oosten van het spoor en langs de sinds 1867 al sporadisch bebouwde uitvalswegen, met name in de omgeving van de Prins Bernhardlaan en de Antwerpsestraatweg. Na de Tweede Wereldoorlog verrezen rondom de stad nog diverse nieuwe wijken. De nieuwe Theodorushaven werd de kern van een groot industriegebied (1959-'64). Het reconstructieplan De Ranitz (1960) stelde de bereikbaarheid van de binnenstad voor autoverkeer voorop.
Van dit plan realiseerde men in 1970 alleen de Westersingel. De demping van delen van de Oude Haven in 1950 en 1964 heeft het Havenkwartier aangetast en aan de oostkant van de binnenstad verrezen grote bedrijfs- en winkelpanden. Verder heeft de oude binnenstad weinig te lijden gehad; het centrum met de Stationsstraat en een deel van de Antwerpsestraat zijn dan ook beschermd stadsgezicht.
