Het Vrijheidshuis (Heuvel 13) verrees in 1620 en heeft tot de Franse tijd gediend als bestuurlijk centrum van de Vrijheid van Oosterhout; het was tot 1940 raadhuis van de stad.
Het gebouw heeft een L-vormige plattegrond; de westvleugel is waarschijnlijk in de 18de eeuw toegevoegd.