(Westsingel 50) is in 1889 gevestigd in het pand Breestraat 78. Er volgde een ingrijpende verbouwing en uitbreiding in neorenaissance-stijl in 1898-'99, naar ontwerp van architect H.
Kroes. Het museum is rijk gedecoreerd.
De gevels hebben geprononceerde immitatiespeklagen, spekblokken, waterlijsten, klauwstukken, obelisken en een gebogen fronton.In de boogvelden boven de vensters van de begane grond is een schelpmotief aangebracht. De in glas-in-lood ramen tonen de wapens van Flehite en van de stad Amersfoort. Bij de uitbreiding is de toegang naar de Westsingel verplaatst. Via een brug en poortgebouw bereikt men het museum tussen twee haaks op het oude huis geplaatste vleugels. Later zijn de aangrenzende panden bij het museum getrokken, waardoor de oude kern bestaat uit drie huizen. Breestraat 76 is van oorsprong een laat-15de-eeuws woonhuis, in de 18de eeuw tot pakhuis verbouwd; bij de restauratie in 1972 werd de voorgevel ontpleisterd.
Bij de restauratie van Breestraat 78 in 1978 zijn inwendig de oude muurhuisruimten hersteld. Evenals dit pand heeft ook Breestraat 80-82 een 19de-eeuws voorkomen, maar beide dateren in oorspronkelijke vorm vermoedelijk uit de 16de of 17de eeuw.
