Een specialistisch gasthuis dat voor het eerst genoemd wordt in juni 1565: het stadsbestuur heeft besloten tot de oprichting, maar het is nog niet gerealiseerd. De schenking die gedaan werd zou een andere bestemming krijgen als er binnen tien jaar geen weeshuis was.
Pas in maart werden de eerste voogden benoemd. Volgens een ander verhaal zou het initiatief genomen zijn door Johan Eelts, pastoor van de Sint-Maartenskerk, die het wilde vestigen in het fraterhuis, maar de pater weigerde dat.De oprichting ging niet door, hoewel een ontwerpreglement werd opgesteld. Pas na de opheffing van de kloosters kwamen er weeshuizen in de stad: het Burger- of Roode -'Weeshuis in het vroegere Olde Convent (1599) en het Groene Weeshuis in het vroegere dominicanenklooster.
