Stad gesticht door Walraven van Valkenburg die in 1360 zijn kasteel van Herpen verplaatste naar een oeverwal langs de Maas. Onder bescherming van zijn kasteel kwam een nederzetting tot ontwikkeling die in 1380 stadsrechten kreeg en die van een stadsmuur met drie poorten werd voorzien.
Van 1396 tot 1609 was de heerlijkheid Ravenstein bezit van de hertog van Kleef.De in 1522-'26 vernieuwde vestingwerken moesten in 1543 op bevel van Karel V worden gesloopt. Een grote stadsbrand in 1606 legde, op het kasteel en een enkel huis na, de gehele stad in de as. Bij de herbouw kwamen er enkele nieuwe straten bij, zoals de Nieuwstraat. Vanaf 1610 was de stad in Staatse handen en omstreeks 1621 legde men eenvoudige verdedigingswerken aan volgens het Oudnederlandse stelsel. Omdat de heerlijkheid in 1630 onder het bestuur van de katholieke keurvorst van de Palts-Neuburg kwam, werd het gebied een katholieke enclave in het generaliteitsgebied. De stad had van 1635 tot 1672 echter nog wel een Staats garnizoen. In 1672 werden de vestingwerken geslecht.
Gezien de bouwproductie maakte de stad in de 18de eeuw een bloeiperiode door, totdat de Fransen de stad in 1794 innamen en in 1800 verkochten aan de Bataafse Republiek. Het kasteel werd in 1818 tot op de funderingen gesloopt, uitgezonderd delen van de voorburcht. Met de aanleg van de spoorlijn over de Maas brak in 1872 een nieuwe periode van bloei aan, waarvan de bierbrouwers, maar ook de leerlooiers en de graanhandelaren profiteerden. Na het buiten werking stellen van de Beerse Overlaat in 1942 ontstonden voor het eerst woonwijken buiten de singels.
