Het karmelietenklooster (Steenstraat 39) werd in 1652 gesticht en bestaat uit vier vleugels rondom een overwelfde kloostergang.
Met de bouw van de noordelijke en oostelijke vleugel begon men in 1653. De vensters hebben blokvormige bakstenen omlijstingen en spitse boogvelden met in baksteen uitgehakte decoraties. De ernaast gelegen St.-Petruskerk was tevens kloosterkerk en de parochie werd door de paters bediend. Klooster en kerk worden verbonden door een overkluisde doorgang. Deze is voorzien van een geheel in baksteen uitgevoerde geblokte dorische poortomlijsting met gebroken fronton en daartussen een ionische aedicula met Mariabeeld in nis.
Het hoofdgestel is versierd met het alliantiewapen van de stichter, graaf Albert van den Bergh en zijn tweede vrouw Madeleine de Cusance. In de doorgang bevindt zich opzij de toegang tot het klooster, met een in bekapte baksteen uitgevoerde dorische poortomlijsting met gebroken segmentvormig fronton, waartussen in tegels het jaartal 1653 is aangebracht.
De westelijke en de zuidelijke vleugel van het klooster werden in 1707 voltooid. Aan de zuidoostzijde werd het complex afgesloten door de Latijnse school, waarvan de straatgevel is voorzien van gepleisterde vensteromlijstingen, jaartalankers (1707) en een in- en uitgezwenkte topgevel met een portretbuste in de top. Inwendig bevinden zich in de kloostergang achttien gebrandschilderde glazen uit de tweede helft van de 17de eeuw met voorstellingen die betrekking hebben op de berg Carmel en de karmelietenorde. Zij worden omlijst door rolwerk en architecturale decoraties en bekroond door de wapens van de stichters en hun familie. Het ontwerp van de glazen wordt wel toegeschreven aan Abraham van Diepenbeeke. In 1944 leed het klooster zware schade, waarna klooster en gebrandschilderde glazen gerestaureerd werden.
