De Lievevrouwe- of Gevangenpoort (Lievevrouwestraat ong.) zal rond 1335 zijn gebouwd.
De poort bestaat uit een rechthoekig bakstenen gebouw met ronde hoektorens bekleed met Gobertangesteen. De torens hebben drie bouwlagen, waarvan de onderste twee met een koepelgewelven zijn overdekt. De oostgevel is waarschijnlijk in 1497 verbouwd en voorzien van arkeltorentjes. De authentieke westgevel van het poortgebouw vertoont bouwsporen van een verdwenen weergang of mezekouw tussen de ronde torens. De trapgevel aan deze zijde is gesloopt. De doorgang heeft een spitsbogig tongewelf, korfboogvormige spaarnissen en gleuven voor een valhek.
De omwalling van het Havenkwartier aan het eind van de 15de eeuw maakte de poort overbodig, maar omdat ze als gevangenis dienst deed, heeft men haar laten staan. De aangrenzende stukken stadsmuur werden in 1525 gesloopt, de voorpoort met brug en de tussen muren gelegen binnenplaats (voorwerk) in 1619. Vanaf de middeleeuwen stonden tegen de poort ook huizen aangebouwd, maar deze zijn in de loop der tijd alle afgebroken. De poort liep schade op bij de ontploffing van kruitmagazijn ‘De Stoelemat’ in 1831 en zeven jaar later door brand. Het gebouw is gerestaureerd in 1931-'32, onder leiding van A.J.L. Juten, met adviezen van J.
Kalf en H. van Heeswijk. Een tweede restauratie werd uitgevoerd in 1953-'54. In de beeldnissen boven de doorgang zijn nieuwe beelden geplaatst, aan de westzijde een Mariabeeld van P. van Dongen (1934), aan de oostzijde een Mariabeeld van A. Termote (1954). Het trappenhuis aan de noordzijde dateert uit 1935 en is in 1954 gewijzigd.
