Koloniedorp, gesticht door de Maatschappij van Weldadigheid die nabij het gelijknamige buurtschap, tussen 1818 en 1824 grond had aangekocht van de familie Tonckens uit Westervelde met als doel gestichten te bouwen voor landlopers en bedelaars, en voor weeskinderen en vondelingen. Tussen 1823 en 1826 kwamen drie carré-vormige, kazerneachtige gestichten gereed met een omgrachting en ophaalbruggen.
De complexen hadden een binnen- en een buitenschil, met ambtenarenwoningen, werkplaatsen, onderwijs- en slaapzalen. De structuur van het gebied werd bepaald door de Kolonievaart (1823-'26) en zes haaks daarop lopende wijken.
Behalve de gestichten werden er ontginningsboerderijen gebouwd, twee kerken, een synagoge en de eerste stoomfabriek van Drenthe (1839).De overdracht van Veenhuizen aan de rijksoverheid in 1859 leidde tot grote veranderingen. Onder beheer van het Ministerie van Justitie werd de kolonie verder ontwikkeld. Op basis van een strakke ruimtelijke ordening verrezen vanaf 1875 onder meer nieuwe gestichtgebouwen en in verschillende typen uitgevoerde dienstwoningen. De bestaande gestichten werden verbouwd of vervangen door nieuwbouw. De eerste gebouwen na 1875 werden gebouwd naar ontwerpen van J.F. Metzelaar, ingenieur-architect der gevangenissen en rechtsgebouwen.
De meeste kwamen tot stand in de periode 1884-1914 naar ontwerpen van zijn zoon, W.C. Metzelaar. Latere invullingen zijn gerealiseerd volgens plannen van diens opvolgers S. Wijn en J.G. Robbers. In de loop van de jaren verschoof het karakter van de instellingen van ‘sociaal opvoedend’ naar ‘verplicht bestraffend’.
Uiteindelijk werden ze omgevormd tot de strafinrichtingen Norgerhaven, Esserheem en Groot-Bankenbosch. Een deel van de woonhuizen rond Norgerhaven en Esserheem is inmiddels afgebroken. Ter vervanging is een nieuwbouwwijk aan de Kerklaan ontstaan.
Veenhuizen is de hiërarchische verstening van orde en tucht. Deze indruk wordt versterkt door strenge architectonische details en benadrukt door de strakke ordening van de ruimte. In het gevangenismuseum (Hoofdweg 8) wordt een beeld geschetst van de geschiedenis deze bijzondere penitentiaire nederzetting.
