Eén van de voornaamste gotische torens van ons land. Oorspronkelijk was deze over een tussenliggende straat verbonden met de ter plaatse van het huidige Lieve Vrouwekerkhof gelegen, driebeukige 15de-eeuwse kruiskerk.
De voorgangster van die kerk, een 14de-eeuwse kapel, was als koor in het laat-gotische gebouw opgenomen. De kerk werd in 1787 vernield door een ontploffing er lag buskruit opgeslagen - en in het begin van de 19de eeuw geheel afgebroken.Met betrekking tot de bouwtijd van de toren is slechts bekend dat men er in 1471 mee bezig was. Vermoedelijk werd het werk aangevangen kort na 1444, toen op miraculeuze wijze een Mariabeeldje werd gevonden en ter verering naar de kapel overgebracht. Giften van pelgrims zullen de bouw van kerk en toren mogelijk hebben gemaakt. De toren kwam schuin op de lengteas van de kerk te staan, waarschijnlijk ten gevolge van aanpassing aan reeds bestaande bebouwing langs de Westsingel.
De bijna 100 meter hoge toren is opgebouwd uit twee vierkante geledingen van baksteen en natuursteen, een met zandsteen beklede achtkante lantaarn en een houten, met leien, lood en koper beklede bekroning. Oorspronkelijk had de toren een naaldspits, die echter in 1547 verloren ging en vervangen werd door de houten renaissance-bekroning. Deze werd na een blikseminslag in 1651 hersteld. Het silhouet van de toren met het traptorentje tegen de lantaarn wordt graag gezien als een symbool van de H. Maagd met het Kindje Jezus.
In opbouw vertoont de toren overeenkomst met de Domtoren te Utrecht, maar hij is sierlijker en de geledingen lopen vloeiender in elkaar over. Dit wordt vooral bewerkstelligd door de steunberen, die zich langs de eerste twee geledingen naar boven toe verjongen. De steunberen zijn zowel haaks als overhoeks gesteld en worden op verschillende hoogten door pinakels met hogels en kruisbloemen bekroond. De hoge overwelfde benedenruimte is ter halver hoogte voorzien van een gedeeltelijke omloop met natuurstenen balustrade. Het door F. Hemony in 1657-'63 vervaardigde klokkenspel is later met enkele nieuwe klokken uitgebreid.
De toren is deze eeuw meermaals gerestaureerd. In 1912-'32 betrof dit vooral de twee onderste geledingen. Bij deze gelegenheid werd de stenen balustrade van de tweede geleding weer van hoekpinakels voorzien. De restauratie in de jaren 1965-'70 was gericht op de lantaarn en de torenbekroning. Bij de lantaarn werden de in de loop der tijd verdwenen pinakels, hogels en kruisbloemen op de wimbergen, balustrade en het traptorentje opnieuw aangebracht. De nieuwe spuwers kwamen tot stand naar vrij ontwerp.
Daarnaast reconstrueerde men de bovenste lantaarn van de bekroning, die in 1807 bij herstelwerkzaamheden was weggelaten. Het baksteen- en natuursteenwerk van de toren is in 1994-'96 hersteld en schoongemaakt.
