Het stadhuis (Grote Kerkhof 4), voor het eerst genoemd in 1339, bestaat in opzet uit drie naast elkaar gelegen bouwdelen, waarvan de twee noordelijkste het middeleeuwse stadhuis vormden met op de hoek met de Polstraat het wanthuis. Het oudste restant is een midden-11de-eeuwse tufstenen zijmuur gefundeerd op basaltzuiltjes in de kelder onder het wanthuis.
Het oudste bovengrondse deel is het bijna vierkante achterhuis van het meest noordelijke bouwdeel, waarvan een deel van de kap bewaard is gebleven, evenals een topgevel met daarin een midden-13de-eeuws romano-gotisch venster. Vóór dit achterhuis werd mogelijk in 1347 een stenen huis gebouwd.
Een uit die tijd stammende steen met stadswapen heeft men later aan de binnenplaatszijde aangebracht. Vóór 1364 gingen de beide noordelijke bouwdelen samen het stadhuis vormen.
In de 15de eeuw werden ze verenigd tot één gebouw, waarbij beide achterhuizen tot één dwars pand werden verbouwd waar zich de oude raadzaal bevindt. Het voor het eerst in 1337 genoemde wanthuis werd in 1483-'84 vernieuwd in de vorm van een langgerekt gebouw met een hoge begane grond en imposante kap.
Vóór het midden van de 16de eeuw werd dit deel bij het stadhuis getrokken. Op het achterterrein bouwde men in 1649-'53 de nieuwe burgemeesterskamer met een verdieping en een kelder met twee arrestantencellen.
In 1662 werd het wanthuis ingrijpend verbouwd, waarbij men de zoldervloer verhoogde en een verdiepingsvloer toevoegde.Tevens werd naar plannen van Philips Vingboons de gevel aan de Polstraat vernieuwd en voorzien van een geleding in de vorm van een plint met daarop kolossale toskaanse pilasters. In 1693-'94 kregen de drie bouwdelen aan de zijde van het Grote Kerkhof een monumentale classicistische gevel naar plannen van Jacob Roman. De door steenhouwer Jan Schrader uitgevoerde gevel heeft een attiek en een geblokte middenpartij met bordestrap en een dorische portiek die bekroond wordt door een balustrade. Gelijktijdig kreeg de achterliggende hal of vestibule zijn huidige vorm en ontstonden in het voorste gedeelte van het wanthuis twee schrijfkamers. In een van deze kamers is nog het stucplafond uit circa 1695 met de wapens van de vier stadssecretarissen aanwezig. In 1747 werd de gevel geverfd.
Naar ontwerp van J.J. Sorg gaf men de oude raadzaal in 1805 een nieuw stucplafond en vleugeldeuren.
Waarschijnlijk kwam toen ook de gang naar de burgemeesterskamer tot stand. In 1822 werd de ruimte boven de oude raadzaal ingericht tot Stads- en Atheneumbibliotheek. Bij de verbouwing van 1833 naar plannen van B. van Zalingen kreeg het stadhuis nieuwe toegangsdeuren en werden de vensters vernieuwd. De zaal boven de hal werd in 1863 ingericht om de Stads- en Atheneumbibliotheek te herbergen, waartoe men twee galerijen met spiltrappen aanbracht. De plafondbalken aan de bovenzijde, onderdeel van het huidige cassettenplafond, waren mogelijk al in de 17de eeuw versterkt door middel van een zogeheten springwerk. De oude bibliotheekzaal ging dienen als lees- en archivariskamer.
In 1929 volgde een restauratie naar plannen van W. Uytenhoudt. In 1978-'82 volgde opnieuw een restauratie en herindeling naar plannen van H.F.A. Rademaker, met als belangrijkste veranderingen de inrichting van de bibliotheekzaal tot nieuwe raadzaal en de begane grond van het wanthuis tot burgerzaal. Naar zijn plannen werd in 1985 achter het stadhuis een stadskantoor gebouwd.
In de hal bracht men in 1766 een schouw gemaakt door Jeronimus Columba aan en in 1776 stucwerk waarin de afkorting S.P.Q.D. (Senatus populusque Daventrienses) was verwerkt. Langs de wanden hangen vijf geschilderde gildenborden: Kuipersgilde (1635), Bouwliedengilde (1634), Bakkersgilde (1634, tekst in 1779 aangevuld), Smidsgilde (1634) en Slijtersgilde (1690, vernieuwd in 1769). Tegenover de schouw staat een fraai gesneden portaal uit 1665 van de hand van Derck Daniëls en in de gang staat een slanke dubbele houten boogdoorgang met de wapens van de in 1685 gehuwde Arnold Condewijn en Lummina Eeckholt, afkomstig uit Assenstraat 16-18 en hier in 1901 geplaatst. De oude raadzaal met een plafond uit 1805 bevat de gesneden achterwand van het burgemeestersgestoelte uit 1659; in het bovenstuk daarvan zit een klok uit 1731 van de hand van Joost van Houten. Het bovenstuk is getooid met taferelen geschilderd door Gerrit Jan Palthe. Aan de overzijde hangen twee borden met gesneden omlijsting uit de 17de eeuw en beulszwaarden, waarvan er een in 1378 door keizer Wenceslas is geschonken.
De burgemeesterskamer heeft een plafond uit 1853 en een fraaie schouw met marmeren ionische zuilen en houten boezem, in 1652-'53 gesneden door Derck Daniëls, die in 1662 ook de kastenwand voor het stadszilver maakte. Het schoorsteenstuk uit 1653 is van de hand van Dirk Hardenstein en stelt ‘Scipio en de bruid van Numantia’ voor. In de oude bibliotheekzaal, die nu als koffiekamer is ingericht, hangt het schilderij van de Deventer magistraat uit 1667 door Gerard Terborch.
