De Kleine of Lieve Vrouwekerk (Geref. Vrijgemaakt) (Vrouwenstraat 5) is een laatgotische, driebeukige pseudobasiliek met enkelvoudig, driezijdig gesloten koor.
De kerk is gebouwd na de verheffing van de St.-Clemenskerk tot kapittelkerk in 1296. De huidige kerk kwam tot stand, aldus het opschrift in zandsteen boven de ingang in de voorgevel, na een ingrijpende verbouwing of herbouw in 1477.
Het middenschip en de zijbeuken worden gedekt door in elkaars verlengde liggende dakvlakken, waardoor het lijkt alsof het om één doorgaand dakvlak gaat. De westgevel heeft boven de ingang een spitsboogvenster en een blinde spitsboognis.
De gevel wordt bekroond door de resten van een gotisch geveltorentje, dat in de tweede helft van de 19de eeuw is voorzien van een kleine open lantaarn met slanke ingesnoerde spits. In 1951-'59 heeft de kerk een algehele restauratie ondergaan.Oorspronkelijk zal het inwendige door een houten kap zijn gedekt geweest. Pas later, waarschijnlijk omstreeks 1477, werd het met de bestaande stenen kruisribgewelven overkluisd. Het baksteenwerk van de zuilen, scheibogen en de daarop rustende wanden zijn in het zicht gelaten. De kansel van eikenhout is in 1654 gemaakt door Geert Jansen ten Polle. De kerk bevat diverse 16de-eeuwse grafzerken, waaronder die van kolonel Willem van Dorp, doodgeschoten in 1592 ‘in 't aanvoeren van een storm op dese stat Steenwyck’. Het in een neogotische kast gevatte orgel werd in 1879-'80 gemaakt door P. van Oeckelen & Zn..
De orgeltribune wordt ondersteund door vier gietijzeren kolommen en heeft een gietijzeren trap. Onder de tribune bevindt zich een laat-19de-eeuws neogotisch tochtportaal.
