Het voorm. Spaans Gouvernement (Vrijthof 18), nu Museum Spaans Gouvernement, kwam voort uit het huis van Johannes Fraybart, kanunnik van het St.-Servaaskapittel. Hij schonk het pand in 1333 aan de Brabantse hertog Jan III.
Hertogin Johanna stond het in 1397 af aan het Servaaskapittel als behuizing voor de proost onder beding dat haar opvolgers hier bij hun bezoeken aan de stad konden verblijven. Ter gelegenheid van het verblijf van keizer Karel V in 1520 werd het rechter deel van de oorspronkelijk in vakwerk uitgevoerde verdieping in mergelsteen herbouwd en voorzien van drie laat-gotische vensters.
De boogvelden zijn versierd met de keizerskroon, gekroonde Herculeszuilen en een banderol met de keizerlijke spreuk ‘Plus Oultre’ (Nog Verder); het middenvenster is gedecoreerd met de Habsburgse adelaar met op de borst het gedeelde wapen van Habsburg en Castilië. Tekststenen tussen de vensters verwijzen naar Philips de Schone, de vader van Karel V.
Voor het bezoek van de keizer en zijn zuster, landvoogdes Maria van Hongarije, in 1545-'46, kreeg de gevel aan de binnenplaats een arcade in vroege renaissance-stijl met vijf rondbogen op balusterzuilen, voorzien van kapitelen met gestileerde maskers en monsterdieren. Bij de doorgang werd een triomfboogversiering aangebracht met medaillonportretten van Karel V en Maria van Hongarije.
Het kleine, beschadigde medaillon in het midden stelt vermoedelijk Philips II voor, die in 1550 enige tijd in het gebouw verbleef.Van 1567 tot 1616 was in het gebouw het (Spaanse) Militaire Gouvernement gevestigd. Bij de voorgevel werd het linker gedeelte van de verdieping in 1670 in mergel versteend en voorzien van kruisvensters met halfronde frontons. De met hardsteen omlijste deur en vensters in de onderbouw aan de voorzijde zijn aangebracht bij verbouwingen in het begin van de 18de eeuw en het begin van de 19de eeuw. Na de opheffing van het kapittel in 1796 heeft het gebouw verschillende bestemmingen gehad. Het Gouvernement is deels gerestaureerd in 1916-'17 en, meer ingrijpend, naar plannen van J. Huysmans in 1970-'73.
In het toen als museum in gebruik genomen gebouw zijn enkele stijlkamers ingericht. Een op de achterhof toegevoegd paviljoen bevat de 18de-eeuwse betimmeringen van een in 1930 gesloopt pand aan de Tongersestraat. In 1993 is de voorgevel van het Gouvernement rood geverfd.
