Het kasteel van Breda (Kasteelplein 10) is een omgracht gebouwencomplex dat ingrijpend werd gewijzigd bij de verbouwing tot Koninklijke Militaire Academie in 1826-'28.
Omstreeks 1190 wordt het ‘castellum’ van Breda voor het eerst genoemd. Op het kasteelterrein gaan de oudste archeologische vondsten niet verder terug dan het door Jan II van Polanen in 1350-'62 gebouwde kasteel. Ter hoogte van de zuidwesthoek van het huidige kasteel stond tot 1826 de zes bouwlagen hoge ‘Toren van Jan van Polanen’; deze toren vertoonde grote gelijkenis met de toren van kasteel Strijen te Oosterhout. Een aangrenzende woonvleugel vormde in noordwestelijke richting de verbinding met een grote vierkante toren; de fundamenten daarvan heeft men in 1992 opgegraven en in het plaveisel aangegeven. In het derde kwart van de 15de eeuw lieten de Nassaus dit kasteel uitbreiden.
Graaf Hendrik III van Nassau begon spoedig na zijn aantreden als heer van Breda in 1504 met het uitbreiden van de versterkingen rond het middeleeuwse kasteel.
Omstreeks 1510 kwam aan de zuidzijde van het kasteelterrein de zogeheten Rekenkamer tot stand. Dit rechthoekige gebouw met zadeldak en traptoren heeft op de begane grond een (omstreeks 1826 dichtgemetselde) galerij met een spitsboog-arcade. In 1534 voltooide men aan de zuidwestzijde van het terrein in de buitenste ommuring twee lage, zevenhoekige torens: de Granaaten de Duiventoren. De geschutsruimte van deze torens wordt overdekt door een stergewelf met in het midden een wijde, ronde opening. De bovenruimte werd voorzien van een kap. De tussengelegen waterpoort, het ‘Spanjaardsgat’, kwam pas in 1610 tot stand, in opdracht van prins Philips Willem.
Omstreeks 1535 kwam in aansluiting op de Rekenkamer een nieuw verdedigingswerk tot stand, waarin een nieuwe voorpoort werd opgenomen. Aan de oostzijde van dit voorwerk verrees een aan drie zijden omgracht hoekbastion of Blokhuis, waarin de privé-vertrekken van de kasteelheer lagen. Oorspronkelijk was dit een vierkant bouwwerk met vier vleugels rondom een kleine binnenplaats, op de buitenhoeken voorzien van arkeltorentjes. De kappen en het muurwerk van de bovenbouw zijn later echter sterk gewijzigd, waarbij ook de arkeltorentjes verdwenen. De onderbouw, bestaande uit massief metselwerk waarin kazematten zijn uitgespaard, is grotendeels nog origineel. Tussen de Rekenkamer en het Blokhuis verrees verder een brede courtine, met daarin de poort en een overwelfde hellingbaan en erbovenop een open galerij in renaissance-stijl.
Deze galerij die omstreeks 1826 is dichtgemaakt en gewijzigd had oorspronkelijk boven elke travee een dwars zadeldakje met aan weerskanten een decoratief topgeveltje. De toegangspoort in het midden van de courtine wordt nu bekroond door een fronton met het van elders afkomstige wapen van Willem van Oranje. De oorspronkelijke bekroning was hoger.
Hendrik III reisde met keizer Karel V naar Italië en Spanje, waar hij onder de indruk raakte van de renaissance-paleizen. In 1536 begon hij, naar plannen van de Italiaan Tomaso Vincidor da Bologna, met een grootscheepse vernieuwing van het Bredase kasteel tot renaissancepaleis. Na de dood van Hendrik in 1538 werd het werk nog enkele jaren voortgezet onder zijn zoon René van Chalon, die in 1544 overleed. Van het oorspronkelijk direct uit een gracht oprijzende complex kwamen in deze periode de west- en de noordvleugel en de oostvleugel tot en met de hoofdingang gereed. De noordoosthoek kreeg een veelhoekige hoektoren. Onder René van Chalon werd in het midden van de westvleugel een kapel uitgebouwd.
De vleugels rond de binnenplaats kregen een overwelfde galerij. Van de binnenhof leidde een monumentale, uitgebouwde bordestrap naar de grote zaal op de eerste verdieping van de westvleugel. Het was wellicht de bedoeling om aan de westzijde een tweede, vergelijkbare binnenplaats aan te leggen, maar hierover is weinig met zekerheid te zeggen.
De bestaande binnenplaats werd uiteindelijk voltooid in opdracht van koningstadhouder Willem III in 1684-'95. Hij liet de toen nog resterende zuidvleugel van het middeleeuwse kasteel slopen en vervangen door een nieuwe vleugel naar tekeningen van Jacob Roman. De architectuur van de bestaande gebouwen werd echter gerespecteerd door niet in eigentijdse classicistische, maar in vroegrenaissancistische vormen te bouwen. Het kasteel werd in de 18de eeuw weinig bewoond en omstreeks 1800 deed het onder meer dienst als kazerne en hospitaal. Bij de verbouwing tot militaire academie in 1826-'28 ging veel oud werk verloren, waaronder alle bouwplastiek uit de renaissance. Niet alleen werden belangrijke delen van het renaissancepaleis afgebroken, zoals de kapel en de bordestrap van de westvleugel, maar ook de nog resterende middeleeuwse ‘Toren van Jan van Polanen’.
Verder heeft men de galerij langs de westvleugel dichtgemaakt en verlengde men de noord- en de zuidvleugel westwaarts. Het interieur van het kasteel werd grotendeels verbouwd, met uitzondering van het trappenhuis. Op het terrein heeft men de paleisgracht en grote delen van de binnen- en buitengracht gedempt.
De huidige binnenplaats is nog steeds aan drie zijden omringd door een overwelfde galerij op slanke dorische zuilen. De terracotta portretmedaillons in de boogzwikken, voorstellende beroemde figuren uit de klassieke oudheid, zijn voornamelijk kopieën uit 1928-'29. De zuilen zijn op die in de noordwesthoek na alle omstreeks 1980 vernieuwd. De eerste, met ionische halfzuilen gelede, verdieping is goed bewaard gebleven; de tweede verdieping dateert uit de 19de eeuw. Oorspronkelijk was hier een bouwlaag met corinthische geleding, boven elke travee voorzien van een gebeeldhouwd topgeveltje met een puttokop; aan de buitenzijde bevonden zich dakkapellen met gebeeldhouwde dolfijnen. De westvleugel wordt gelijkvloers geheel ingenomen door een grote hal (nu eetzaal) met ribloze kruisgewelven op hardstenen dorische zuilen.
In de noordoosthoek bevindt zich het monumentale ‘Italiaanse’ trappenhuis met rechte bordestrap en tegengestelde armen. De trap wordt overdekt door tongewelven en ribloze kruisgewelven. De gang boven de galerij rond de binnenplaats heeft ribloze kruisgewelven tussen gordelbogen; getuige de initialen van Willem en Mary op de consoles onder de gordelbogen dateren deze gewelven van de verbouwing in 1684-'95.
