De gevangentoren (Boulevard De Ruyter 1) is een forse ronde toren met afwisselend lagen baksteen en natuursteen. Het is de overgebleven helft van de rond 1540 gebouwde Westpoort, die bestond uit twee ronde torens.
Vanaf de 17de eeuw diende de toren als stedelijke gevangenis. Beschadigd bij de beschieting van de stad in 1809, bleef na de gedeeltelijke sloop in 1811 een verlaagde toren over, gedekt door een bomvrij koepelgewelf.
Bij een restauratie in 1894, onder leiding van J.A. Frederiks, kreeg de toren kantelen en bij de middenverdieping een straalgewelf naar voorbeeld van het keldergewelf.
In de Tweede Wereldoorlog raakte de toren zwaar beschadigd. Vanwege de dijkverhoging tot Deltahoogte heeft men ook de toren rond 1960 verhoogd en voorzien van een op basis van oude tekeningen ontworpen spits.
De nieuwe ingang is toen een verdieping hoger aangebracht. In verband met een nieuwe bestemming zijn enkele kruisvensters toegevoegd.
