De omvang van de stad met zijn middeleeuwse omwalling is nog herkenbaar. Restanten van de oudste vestinggracht zijn de huidige Oude en Nieuwe Haven.
De stadsmuur werd na 1572 vervangen door een versterking met vijf bastions volgens het Oudnederlandse vestingstelsel, ontworpen door Thomas Thomasz en Adriaen Anthonisz.Na de bezetting door de Fransen in 1672 en de herovering door prins Willem III kwamen onder leiding van Adriaan Dortsman de nu nog behouden vestingwerken tot stand, de eerste fase (1673-'78) naar plannen van Maximiliaan d' Yvoy en de tweede (1679-'85) naar plannen waarin de invloed van Paul Storff de Belleville herkenbaar is. De nieuwe vesting kreeg een dubbele vestingring en grachten met zes bastions, zes ravelijnen en een enveloppe volgens het Nieuwnederlandse systeem. Op en in de bastions bevonden zich bomvrije kazernes, kazematten, remises, magazijnen en poternes. Slechts twee poorten de Utrechtse en de Amsterdamse poort verschaften toegang tot de vesting. De bastions Oud-Molen, Katten en Oranje vormden het zeefront. Ter scheiding van het binnenen buitendijkse water kwamen in de gracht gemetselde beren; de westbeer met monniken (1676, vervangen 1938) en de oostbeer (1685). De bastions Promers, Turfpoort en Nieuw-Molen bestreken de landzijde.
Uit 1678 dateert het Groot Arsenaal (Kooltjesbuurt 1) , het voorm. tuighuis op bastion Oud-Molen. Dit wit gepleisterde rechthoekige complex heeft vier vleugels rond een binnenplaats. Boven de middelste rondboogpoort zit een groot zandstenen reliëf met wapentrofee en in de hal bevindt zich een marmeren gedenksteen uit 1688. In 1728 werd het gebouw verhoogd met een verdieping en uitgebreid met een noordoostvleugel, het eveneens wit gepleisterde Klein Arsenaal. Dit na een brand in 1954 gerestaureerde arsenaalcomplex heeft tot 1987 een militaire functie behouden; nu zijn er winkels gevestigd.
In 1815 werd de vesting Naarden onderdeel van de Nieuwe Hollandse Waterlinie. De vestingwerken zijn in 1873-'79 gemoderniseerd. Zo vernieuwde men de Utrechtse Poort en tussen de vesting en de Zuiderzee verrees het Fort Ronduit (beide apart beschreven). Op de bastions kwamen nieuwe bomvrije kazernes en remises tot stand en op enkele ravelijnen bomvrije gebouwen voor logies en munitie. Ook de courtines en ravelijnen werden verbeterd. Op het bastion Oud-Molen bouwde men bij het arsenaal een kruitmagazijn met ijskelder (1853), een grote bomvrije kazerne met hospitaal (1877-'79) en een bomvrije bakkerij en slagerij (1878). Verder kwamen er een wachthuis en een brandspuitenhuis (1877) en na 1879 diverse dienstwoningen, waaronder een tweelaagse voorm. woning voor de bakkers, de voorm. woningen voor gehuwde militairen (Kooltjesbuurt 3 en 7) en een voorm. wachterswoning (Kooltjesbuurt 5).
Aan het A. Dortsmanplein kwamen verschillende militaire gebouwen tot stand. De voorm. Promerskazerne (A. Dortsmanplein 3-3a; 1875-'77) is een met aarde afgedekt langgerekt eenlaagspand. De gevel in vroege neorenaissance-stijl is voorzien van een gebosseerde natuurstenen poort en rijk beeldhouwwerk met rijkswapen, gehelmde kop, leeuwen en leeuwenmaskers.
Dit gebouw kreeg later de functie van jeugdsociëteit en kantoor, en is nu in gebruik als restaurant. Verder zijn er de voorm. kantine (A. Dortsmanplein lb, 1880) , een wit gepleisterd eenlaagspand met gesneden windveren (nu V.V.V.-kantoor), en het voorm. garnizoensbureau (A. Dortsmanplein 5; 1887-'88) , een tweelaags gebouw met geblokte midden- en hoekrisalieten.
In 1895-1906 kreeg de enveloppe (Korte en Lange Bedekteweg) betonnen schuilplaatsen. In 1915 werd de Amsterdamse poort gesloopt en vervangen door een coupure. Ook verlegde men de toegang naast de Utrechtse poort (Kapitein G.A. Meijerweg).
Na de opheffing van de vestingstatus (1926) werden de wallen al snel beschermd en kon ontmanteling en sloop worden voorkomen. In de westwal de courtine tussen de bastions Nieuw-Molen en Turfpoort werd wel een derde toegang gemaakt. Het daarvoor door W.M. Dudok met stadsarchitect B.T. Deenik ontwikkelde S-vormige tracé kwam in 1938-'39 tot stand in het kader van een werklozenproject. Op het bastion Turfpoort is sinds 1954 het Nederlands Vestingmuseum (Westwal 6) gevestigd, waarvan de administratie is ondergebracht in de dubbele remise.
Van 1964 tot het eind van de 20ste eeuw is een restauratie van de vesting uitgevoerd. Ten zuidwesten van de vesting Naarden ligt een in 1787 aangelegde inundatiesluis. De twee bijbehorende lunetten zijn in 1873 verbouwd tot de batterijen Karnemelksesloot (Naardermeer ong.) en voorzien van met aarde bedekte bomvrije gebouwen. In 1915 zijn twee ingegraven betonnen schuilplaatsen toegevoegd.
