Het voorm. gouvernementshuis (Jan van Steffeswertplein 15-16) is een fors wit geschilderd pand, gebouwd in 1732 als woning van de vestingcommandant. Aan de westzijde bevinden zich de resten van een ronde hoektoren met mergelstenen speklagen.
Deze toren maakte deel uit van het vierkante kasteel van de heren Van den Bergh, dat in de 14de eeuw werd gebouwd op de plaats van een 12de-eeuwse woontoren. Het kasteel verkeerde in 1599 al in ruïneuze staat en werd na 1702 geleidelijk gesloopt.
