Het Rijksmuseum van Oudheden (Rapenburg 28) is gebouwd op de plaats van enkele oudere panden aan het Rapenburg en de Papengracht. Het belangrijkste was het in 1640 naar ontwerp van Arent van 's-Gravesande gebouwde Hof van Zessen, dat aan het Rapenburg een tuingalerij met toegangspoort had.
Nadat hier in 1801 een deel van de universiteitsbibliotheek was ondergebracht, volgde in 1818-'19 een ingrijpende verbouwing. Daarbij werd de tuingalerij met een etage verhoogd en verrees de huidige gevel met gemetselde dorische (begane grond) en ionische (verdieping) pilasters.
Rond de vroegere binnenplaats bouwde men naar plannen van J. de Greef drie vleugels met empirevensters. In 1820-'25 volgden verdere uitbreidingen en werden er enkele universitaire collecties ondergebracht.
In 1920 kreeg het gebouw de bestemming van Museum van Oudheden. De binnenplaats heeft in 1979 een overkapping (ontwerp A.
Haak) gekregen om de aan Isis gewijde Taffeh-tempel uit Nubië onder te brengen.