Kasteel Rechteren (Rechterensedijk 3), gelegen aan een oude Vechtarm ten zuidoosten van Dalfsen, is het enige bewaard gebleven middeleeuwse kasteel van Overijssel. Het gebouw is mogelijk ontstaan toen Herman van Voorst het na ruil van de graaf van Bentheim in 1315 in eigendom verwierf en het in 1320 als leen van de bisschop van Utrecht verkreeg.
In 1339 is er sprake van een eigen kapel, die in 1376 werd ingewijd. Door huwelijk kwam het kasteel in 1356 in het bezit van de familie Van Heeckeren, die zich later naar het kasteel Van Rechteren gingen noemen.De onderkelderde onderbouw van de forse toren aan de noordzijde dateert waarschijnlijk nog uit de eerste helft van de 14de eeuw. De middeleeuwse woonvleugel stamt in opzet uit 1508 en werd gebouwd in opdracht van Adolf van Rechteren, drost van Coevorden, en zijn vrouw Katharina de Cock van Opijnen. Karel van Gelre veroverde het kasteel in 1522; bij de herovering door troepen van de bisschop van Utrecht in 1524 had de grote toren sterk te lijden. In 1527 was het voor korte tijd opnieuw Gelders. In 1584 werd Rechteren door Spaanse troepen veroverd. Nadat het kasteel in 1591 definitief in Staatse handen was gekomen, werd het ontmanteld; de ringmuur werd geslecht, de hoofdgracht gedempt en de wallen afgegraven.
De toren werd in 1633-'34 verhoogd in opdracht van Johan van Rechteren en Joachima van Wijhe, die tevens Huis Almelo bezaten. In 1672 werd het kasteel door Munsterse troepen sterk beschadigd. Johan Zeger van Rechteren begon na zijn huwelijk met Agnes Sophia van Raesvelt in 1685 met het herstel. Nadat hij en zijn vrouw overleden waren (1701 en 1705), volgde een bouwpauze tot Frederik Rudolf van Rechteren het werk in 1726 liet voortzetten onder leiding van steenhouwer Johan Hendrik Hagen. Uit die tijd dateert de ingangspartij met de twee vooruitspringende vleugels. Steenhouwer Hagen is waarschijnlijk ook verantwoordelijk geweest voor de bekroning van de middenrisaliet; daarop zit het gekroonde alliantiewapen van Van Rechteren en Von Limpurg-Speckfeld, voorzien van deugden in Lodewijk XIV-vormen.
Op basis van een verbouwingsplan uit 1896 van J. Mutters liet A.Z. graaf van Rechteren Limpurg de toren en het hoofdgebouw in neogotische vormen verbouwen. De geplande verhoging van de middenpartij werd in 1898 aangepast en overeenkomstig de smaak van de opdrachtgever in Franse trant uitgevoerd, vermoedelijk naar plannen van J.W.H. Berden. In 1953-'57 werden toren en kasteel geconsolideerd en gerestaureerd onder leiding van A.J. van der Steur. Het hoofdgebouw kreeg weer vensters in 18de-eeuwse vorm, de geveltoppen werden hersteld en de uit 1900 daterende weergang van de toren, alsmede de meeste andere neogotische aanpassingen, werd verwijderd.
De ingrijpende inwendige verbouwing in 1898-1905 onder leiding van J.W.H. Berden heeft weinig van de oudere inrichting overgelaten. In de zaal zitten nog delen van het originele stucplafond, met daarop het jaartal ‘1696’. Centraal in de zaal hangt het schoorsteenstuk van de Zwolse schilder Roelof Koets uit 1702, waarop Johan Zeger van Rechteren en zijn gezin staan afgebeeld. In de eetzaal ten oosten daarvan bevond zich tot 1908 een schoorsteenstuk met voorstelling van Andromeda uit 1698, gemaakt door de Zwolse schilder Hendrik ten Oever. De beide dessus-de-porte van zijn hand ‘de roof van Europa’ en ‘Io bewaakt door Argus’ zijn wel bewaard gebleven.
De drie schilderijen samen zijn te beschouwen als een allegorie op de daden van Willem III, in de persoon van Zeus. Opdrachtgever Johan Zeger was regimentscommandant voor Willem III in Engeland. De eetzaal zelf is na restauratie in 1953-'57 ontdaan van de historiserende verbouwing uit omstreeks 1860, die L.H. Eberson ontwierp. Aan de noordwestzijde bevindt zich een lange dwarse hal met aan de oostzijde een trap uit omstreeks 1905, die lijkt te zijn geïnspireerd op die in huis Schuylenburg te Den Haag. De Witte Salon aan de westzijde daarvan heeft snijwerk in neo-Lodewijk XIV-stijl gemaakt door A.
Roodenburgh. Hij maakte ook de schouw in de Roze Salon.
Van de beide bouwhuizen op het voorterrein stamt het linker uit 1725. Het rechter bouwhuis, met een gevelsteen uit 1685, is in 1881 geheel vernieuwd. Het toegangshek uit 1724, vervaardigd door Johan Hendrik Hagen, dat een poort uit 1686 van diens vader Lubbert Hagen verving, is omstreeks 1930 verdwenen. De stenen brug naar plannen van L.H. Eberson uit 1863 is wel bewaard gebleven. Rondom, maar vooral ten oosten van het kasteel, werd naar plannen van L.A.
Springer van 1909 tot 1919 een formele tuin met neobarokke parterres aangelegd. Aan de westzijde, op de belt van een vroegere standerdmolen, ligt sinds 1875 de eigen familiegrafkelder. Dichtbij staan de kasteelboerderij met dienstwoning (Rechtersedijk 8) uit 1863, een dienstwoning (Tolhuisweg 1) uit omstreeks 1910 en een rentmeesterswoning (Rechterensedijk 4) uit dezelfde tijd. De laatste is gebouwd in lichte steen en vertoont jugendstil-elementen.
