Het voorm. stadsweeshuis (Weeshuisstraat 1) is eind 16de eeuw gesticht. Het was ondergebracht in het hoofdgebouw van het kort na 1500 gebouwde Blokhuis van het kasteel.
Het weeshuiscomplex werd in de loop van de eeuwen sterk uitgebreid en verbouwd. In de lange zijgevel bevindt zich een laatgotisch poortje uit 1546, bekend als weeshuispoortje, voorzien van wapens en een opschrift naar I Rom. 8:31.
De huidige voorgevel van het gebouw bevat een gevelsteen met het jaartal 1851 en twee weeskinderen. Het complex is in 1910 uitgebreid met een nieuw schoolgebouw (Weeshuisstraat 3) en fungeert thans als internaat van het Noordzeecollege.
