De voorm. lakenhal (Oude Singel 32), gebouwd in 1639-'40 naar ontwerp van Arent van 's-Gravesande, bestaat uit een classicistisch hoofdgebouw met aan weerszijden een lagere vleugel met open galerij. Het voorplein wordt afgesloten door een muur met een toegangspoort voorzien van een afbeelding van een volmolen en stapels laken.
Het middenrisaliet van het hoofdgebouw heeft ionische kolossale pilasters en wordt bekroond door een groot fronton met daarin het stadswapen en op de hoeken ‘schaapsfiguren’. Bij de verdieping tonen vijf reliëfs de stadia van het productieproces (spinnen, weven, ruwen, scheren en verven).
Het steenhouwwerk werd uitgevoerd door Bartholomeus Drijffhout en Pieter Adriaensz 't Hooft. Het gebouw diende tot 1823 als lakenhal en heeft daarna verschillende functies gehad totdat het in 1868 als stedelijk museum werd ingericht.
De grote zaal achter het 17de-eeuwse hoofdgebouw verrees in 1889 naar ontwerp van D.E.C. Knuttel en in 1921 volgde aan de oostzijde de zogenaamde Papevleugel naar plannen van W.A.
Lensvelt. Het voorplein is in 1983 overdekt en in 1994 is de voorgevel gerestaureerd.
