Het voorm. tolhuis van de tol op de Merwede (Molenstraat 109) is een in oorsprong L-vormig gebouw met een traptoren aan de buitenkant van de korte vleugel.
Het huidige gebouw met sierankers kwam in 1598 tot stand en verving een in 1425 gesticht tolhuis, dat in 1568 en in 1584 was afgebrand. Bij de bouw heeft men voor de speklagen (Gobertangesteen) mogelijk gebruik gemaakt van sloopmateriaal van het in die tijd gesloopte kasteel. Het tolhuis werd in de 17de eeuw aan de oostzijde uitgebreid. In 1795 verviel de oorspronkelijke functie en na 1814 heeft het gebouw veel verschillende bestemmingen gehad, onder meer als kazerne en als bureau van de stellingcommandant van de Nieuwe Hollandse Waterlinie. Sinds de restauratie in 1985-'87 (W. Kramer) is er het Hoogheemraadschap van de Alblasserwaard en de Vijfherenlanden gevestigd. Binnen zijn de originele kapconstructie en het houtskelet met rijk gesneden maniëristische consoles behouden gebleven.
