Het Gravensteen (Pieterskerkhof 6) was oorspronkelijk een grafelijke en vanaf 1463 een stadsgevangenis. Het oudste gedeelte van het gebouwencomplex is een deels in tufsteen uitgevoerde vierkante toren (tweede helft 12de eeuw) met een koepelgewelf boven de begane grond en een hoog schilddak.
De verhoging van de toren in baksteen en de zeszijdige traptoren stammen uit 1463. In 1555-'56 werd de vleugel aan de westzijde toegevoegd.
Latere verbouwingen waren onder meer het aanbrengen van een venster in de toren (1604) en het vernieuwen van de galerij aan de noordzijde in 1605 (jaartal op fries). Deze galerij werd in 1654-'55 verlengd.
Toen kwamen naar plannen van Arent van 's-Gravesande ook het Tuchthuis en de monumentale vleugel met fronton en ionische pilasters aan de zijde van het Pieterskerkhof tot stand, onder leiding van Cornelis Huybertsz van Duyvenvlucht en Pieter Jansz van Noort. In 1672 volgde naar plannen van Willem van der Helm de bouw van de nieuwe Vierschaar en Schepenkamer, een tweelaags gebouw met zandstenen gevelbekleding voorzien van basement, composiete pilasterstelling en een fronton.
Het beeldhouwwerk is van Pieter Xavéry. In de cellen zijn wandschilderingen uit 1566 ontdekt (Christus aan het kruis en de Bespotting).
De huidige toegang tot het complex wordt gevormd door een in 1955 naast de Vierschaar geplaatste toegangspoort uit 1613, afkomstig van de rectorswoning van de Latijnse school. Het complex is gerestaureerd in 1941-'48.
