Stad, ontstaan in de vroege middeleeuwen als nederzetting aan de rivier de Waal. De gunstige ligging werd nog versterkt toen de Maasbedding zich omstreeks 1300 verlegde en ter hoogte van de nederzetting met de Waal samenvloeide tot de Merwede.
In de 14de eeuw ontwikkelde Woudrichem zich tot een belangrijke handels-, markt- en visserijplaats. De inwoners ontvingen in 1356 tolvrijheid en in 1362 uitgebreide rechten op de riviervisserij. De plaats kreeg een eigen schepenbank en er werd een tol gevestigd. In 1389 wordt Woudrichem voor het eerst als stad genoemd. De welvaart werd echter spoedig afgeremd door de concurrentie van het zich aan de overzijde van de Merwede ontwikkelende Gorinchem, waarheen de tol in 1420 werd verplaatst. Tijdens de Tachtigjarige Oorlog liep de stad zware schade op; in 1573 werd ze geheel platgebrand.
Na de inname door Staatse troepen in 1574 kwamen in 1583-'87 verdedigingswerken tot stand naar ontwerp en onder leiding van Adriaan Anthonisz. van Alkmaar. Met Gorinchem en Loevestein vormde Woudrichem een belangrijke vestingdriehoek.
In de 19de eeuw werd de vesting opgenomen in de Nieuwe Hollandse Waterlinie en diende ze ter verdediging van de linker Maas- en Merwededijk; samen met het fort Vuren en de vesting Gorinchem bestreek ze de rivieren Afgedamde Maas, Waal en Boven-Merwede. De vesting werd als zodanig pas opgeheven in 1955. De vestingwerken zijn nagenoeg geheel bewaard gebleven en daarbinnen heeft het stadje zijn oorspronkelijke karakter goeddeels weten te behouden. Ten zuidwesten van de oude stad ontstond na de Tweede Wereldoorlog een nieuw stadsdeel, dat in oppervlakte de oude vesting thans ver overtreft.
