Het voorm. militair hospitaal (Karnemelksloot 20), een symmetrisch U-vormig gebouw in sobere neorenaissance-stijl, kwam in 1876 tot stand, samen met een dienstwoning (Karnemelksloot 22).
Het hoofdgebouw werd in 1922 in gebruik genomen als Rijks Administratiekantoor (Belastingdienst), zoals vermeld op de geveltop van het middenrisaliet.
