Het voorm. oudemannenhuis ‘Oudemanhuispoort’ (Oudemanhuispoort 4-6) werd in 1601 gesticht en in 1631 gevestigd op het terrein van het voorm. augustinessenklooster ‘Mariënveld’. Het huidige complex met vier vleugels om een binnenplaats verrees in 1754-'57 naar plannen van burgemeester Pieter Rendorp en bouwmeester Gerard Frederik Maybaum.
De midden- en hoekpartijen zijn met natuursteen bekleed. De middenpartij met hoofdingang (noordzijde binnenplaats) is in Lodewijk XIV-stijl uitgevoerd en wordt bekroond door een fronton met het stadswapen. De gevelpartij aan de zuidzijde (1755), ontworpen door Maybaum in Lodewijk XV-stijl, heeft een doorgang naar een overdekte galerij met 18de-eeuwse winkelkasten. Deze galerij vormt de verbinding tussen de Kloveniersburgwal en de OZ Achterburgwal en is voorzien van poortjes. Aan de Achterburgwal staat een toegangspoort in Lodewijk XIV-vormen met ionische zuilen en zandstenen bekroning (1754). De poort met dorische zuilen aan de Kloveniersburgwal (1786) is ontworpen door Abraham van der Hart en wordt bekroond door een beeldengroep van Anthonie Ziesenis.
Na de opheffing van het tehuis in 1840 werd in het gebouw de Academie van Beeldende Kunsten gevestigd. In 1880 nam de Gemeentelijke Universiteit (nu Universiteit van Amsterdam) het complex in gebruik. Om te voorzien in de behoefte aan collegezalen kwam in 1925-'27 het gebouw Kloveniersburgwal 80 tot stand naar een expressionistisch ontwerp van P.L. Marnette (Dienst Publieke Werken). Het trappenhuis bevat decoraties van P. Alma (1951). In 1966-'80 is achter de 18de-eeuwse gevels rond de binnenplaats nieuwbouw ontstaan ten behoeve van de universiteit.
