Het Ancker was oorspronkelijk een papiermolen die in 1774 werd gebouwd door Willem de Jacobi op de resten van een kruitmolen die in 1546 was gebouwd en in 1733 was ontploft. De papierfabricage werd gestaakt in 1867.
Het gebouw wordt in de volksmond ook wel Het Pesthuis genoemd.De horizontale ventilatiesleuven in het dak wijzen erop dat het gebouw ook werd gebruikt als droogzolder voor geschept papier. Van Grobbendonck, koninklijk bevelhebber van Den Bosch, vermeldde in 1594 dat uit een aanpalend huis een aanslag op de vesting werd beraamd, waarbij ten zuiden van de Maasbrug 20-30 voet van de walmuur zou worden opgeblazen. Het is mogelijk dat deze samenzwering verband hield met één van de raids van prins Maurits.
