Het Gouverneurshuis (Putterstraat 14-16) is een groot huis uit 1592, diep achter een poort gelegen.
Het heeft een zadeldak tussen trapgevels. In 1733 werd het verbouwd tot woning van de gouverneur van Heusden, J.T. van Friesheim. In het begin van de 19de eeuw volgde een nieuwe verbouwing en na de laatste restauratie (1963) is het museum.
