De voorm. St.-Sebastiaansdoelen (Korte Vijverberg 7) werd in 1636-'38 onder leiding van Bartholomeus van Bassen gebouwd naar plannen van Arent van 's-Gravesande. Dit classicistische gebouw heeft een met natuursteen bekleed souterrain en een middenrisaliet met ionische kolossale pilasters (volgens Vignola).
Het bekronend fronton toont schuttersattributen en drie wapenschilden, waaronder het stadswapen. Na de ontbinding van de schutterij in 1795 heeft het gebouw diverse bestemmingen gehad waaronder arrondissementsrechtbank (1846-'83) en gemeentemuseum (1884-1934) - en heeft het ingrijpende verbouwingen ondergaan.
Sinds de restauratie van 1982-'86 (J. Kruger) is het als Haags Historisch Museum in gebruik.
Van de laat-16de-eeuwse voorganger van het huidige gebouw resteren enkele kruisgewelven in de kelder.