Het voorm. Olde Convent of Geestelijke Maagdenhuis, beter bekend als het ‘Rode Weeshuis’ (Rode Weeshuisstraat 11-117) wordt als begijnenconvent voor het eerst genoemd in 1386; in 1401 werd het een franciscanessenklooster. In een deel van dit klooster waarvan in 1621 de laatste nonnen vertrokken bracht men in 1599 het Rode- of Burgerweeshuis onder; de naam verwijst naar de rode kledij van de burgerwezen.
In 1868-'69 is het weeshuis ingrijpend verbouwd. Van de middeleeuwse kloosters en conventen in de stad zijn alleen gebouwen bewaard gebleven in dit complex en in het Prinsenhof.
Het complex is in 1991-'93 door woningbouwvereniging Volkshuisvesting gerestaureerd en aan de achterzijde gewijzigd en uitgebreid tot een complex van 55 seniorenwoningen.De oudste, in de kern 15de-eeuwse, delen van het complex staan aan het binnenhof. Aan de oostzijde is dat de voormalige refter en aan de zuidzijde een deel van de kapel (de rest is in 1866 gesloopt) en aansluitend een in de 17de eeuw verhoogde vleugel. Het restant van de kapel bevat delen van de midden-15de-eeuwse nonnengalerij met kruisgewelven op pijlers. Aan de straat staan nog een 16de-eeuwse vleugel en een door de gilden geschonken natuurstenen toegangspoort. Dit uit 1627 stammende, maniëristische poortje wellicht ontworpen door Garwer Peters wordt bekroond door beelden van een weesjongen en een weesmeisje aan weerszijden van een grote cartouche met stichtingstekst. Rechts ervan staat een gebouw dat bij de verbouwing van 1868-'69 tot stand is gekomen.
