Vissersdorp, ontstaan op een kreekrug aan het einde van de 10de eeuw. Bij de grote overstroming van 1530 verdronk het oostelijke deel van Yerseke en verschoof de kustlijn westwaarts.
De in 1871 aangelegde haven werd in 1883 en in 1898 vergroot. Het oorspronkelijk bescheiden dorp kwam na 1871 tot grote bloei dankzij de ontwikkeling van de oester- en mosselteelt.
De belangrijkste woningen verrezen langs de Damstraat. Terzijde van de Dam kwam een grote arbeiderswijk tot stand en ten oosten van de dorpskern richting de Havendijk werd het terrein van het voormalige Schuttersgilde bebouwd.
Rond 1930 bracht men de Burenpolder tot ontwikkeling. De tussen 1885 en de Tweede Wereldoorlog wisselvallig verlopende oesterhandel kwam na de oorlog weer tot grote bloei.
Het in 1940 zwaar beschadigde dorpscentrum werd herbouwd volgens een wederopbouwplan uit 1952, waarbij rekening werd gehouden met het historische stratenplan. De al in 1938 gemaakte plannen voor een nieuwe haven konden als gevolg van de oorlog en de Watersnoodramp van 1953 pas in 1965 worden gerealiseerd.
Het ten noorden van het dorp bij het veer op Gorishoek gelegen gehucht Yersekendam is nu geheel aan Yerseke vastgegroeid.
