De voorm. Broederenkerk (Broederenkerkplein 2) is een driebeukige kerk met langgerekt, driezijdig gesloten koor, een dakruiter en een door luchtbogen gesteund middenschip met (smalle) zijbeuken. Deze gotische kerk behoort bij het in 1293 door Margaretha van Vlaanderen gestichte dominicanerklooster en kwam in 1306-'07 in één bouwfase tot stand.
De kerk liep schade op in 1572. In de 18de eeuw werd het gebouw als Waalse kerk ingericht. Hiervoor ontwierp Teunis Wittenberg in 1772 een met lood beklede dakruiter. Na de overdracht aan de Nederduits Hervormden in 1826 verrees aan de zuidzijde een nieuw in empire-stijl uitgevoerde ingangspartij met fronton en attiek. De kerk onderging in 1924-'39 een restauratie naar plannen van G.J. Jacobs.
In 1948-'53 werd de oorlogsschade hersteld. De kerk is in 1983 ingericht als bibliotheek.
Het rijzige interieur wordt gedekt door kruisribgewelven op schalken. Tussen de scheibogen en de hoge vensters van het schip zijn de wanden geleed door blindvensters met gotisch traceerwerk. De in 1937 ontdekte gewelfschilderingen, bestaande uit decoratief rankwerk met afbeeldingen van enkele dominicaanse heiligen, dateren uit het tweede kwart van de 16de eeuw. Tot de inventaris behoren een vroeg-renaissancistisch epitaaf met beschadigde kruisigingsvoorstelling (1544) en twee vroeg 16de-eeuws wandkastjes, waarvan één afkomstig uit de St.-Walburgiskerk.
Het voorm. Broederenklooster (Rozengracht 3) bestaat uit een lange vleugel en een haakse vleugel aan de Rozengracht. De verdieping van de lange vleugel bevat de voorm. slaapzaal (dormitorium) die in verbinding staat met de Broederenkerk. De begane grond heeft resten van een kloostergang. Delen van de dormitoriumvleugel zijn mogelijk nog laat-13de-eeuws; in de 15de eeuw is deze vleugel naar het noorden verlengd met een onderkelderd gedeelte. De kelder heeft ribloze kruisgewelven op zandstenen middenpijlers.
De haakse vleugel verrees in de tweede helft van de 15de of het begin van de 16de eeuw en staat vanwege de overwelfde zaal op de begane grond bekend als refectoriumvleugel. Op de verdieping bevindt zich een zaal met houten tongewelf. Na 1602 waren de kloostergebouwen achtereenvolgens in gebruik als Latijnse school, gymnasium en kazerne (vanaf 1885). Bij een ingrijpende restauratie van de refectoriumvleugel in 1895-'96 zijn de gotische vensters gereconstrueerd. Na oorlogsschade in 1944 werd de refectoriumvleugel opnieuw gerestaureerd naar ontwerp van G.H. Kleinhout en A.J. van der Steur.
Aan de westzijde kwam in 1957 ten behoeve van het gemeentearchief een vleugel in wederopbouw-vormen tot stand. Sinds 1961 zijn de kloostervleugels eerst gedeeltelijk en later geheel in gebruik als Stedelijk Museum. Op de verdieping van de reftectoriumvleugel staat een vroeg-15de-eeuws passiealtaar, afkomstig uit de St.-Walburgiskerk.
