Kasteel Rhoon (Dorpsdijk 63), gelegen op een omgracht terrein, werd kort na 1432 gebouwd in opdracht van Pieter II van Duiveland, heer van Rhoon. Het verving een oostelijker gelegen 12de-eeuws slot.
Hoekse troepen plunderden het kasteel in 1489. In 1497 werd Rhoon een hoge heerlijkheid, die tot 1682 in bezit bleef van de familie Duiveland van Rhoon.
Na verwoesting door de watergeuzen in 1572 herstelde en vergrootte men het kasteel in 1598. De brede noordbeuk met vierkante traptoren bevat mogelijk nog resten van 15de-eeuws muurwerk, maar stamt overwegend uit 1598.
De zogeheten Catharina Theresiazaal in dit bouwdeel heeft lange tijd als vierschaar dienst gedaan en wordt gedekt door een laat-16de-eeuwse samengestelde balklaag. Boven deze zaal bevindt zich de voormalige kapel van de katholiek gebleven familie Van Duiveland.
Ook uit 1598 dateren de middelste beuk oorspronkelijk met de toegang - en de zuidbeuk met veelhoekige traptoren. Kort na de aankoop in 1683 door Hans Willem Bentinck, gunsteling van stadhouder Willem III en na 1689 Earl of Portland, werd de zuidgevel verlengd en voorzien van een bordestrap en aan de oostzijde een keuken.
W.G. Bentinck liet bij een ingrijpende verbouwing begin 19de eeuw de ingang verplaatsen naar de zuidgevel, waar een ingangsportaal met gebosseerde pilasters in empire-vormen ontstond.
Verder werd toen het gehele kasteel bepleisterd.
Tegen de oostzijde van de noordbeuk bouwde men in de 19de eeuw de later ingrijpend verbouwde stallen.
In 1839 kwam het kasteel aan de Rotterdamse reder A. van Hoboken. Na aankoop door de stichting het Zuid-Hollands Landschap in 1971, volgde in 1973-'75 de kasteelrestauratie onder leiding van J.
Walraad. Het gebouw is momenteel als restaurant in gebruik.Het park - of de kasteelgaarde vertoont een schikking van tuinen zonder onderlinge samenhang. Aan de oostzijde bevindt zich een omgracht voorterrein, aan de westzijde een moestuin en verder westelijk een parkbos met daarin restanten van een slingerende waterloop, een vijver en slingerpaden, mogelijk behorend bij een aanleg in vroege landschapsstijl (begin 19de eeuw).