Kasteel Wittem (Wittemer Allee 3) ligt in het brede Geuldal op een terrein met resten van twee omgrachtingen. Het kasteel bestaat uit twee haaks op elkaar staande vleugels met een ronde toren aan de buitenhoek en een lagere, achtzijdige ingangstoren in de binnenhoek.
De gevels zijn opgetrokken in Nivelsteiner zandsteen en baksteen.De ronde toren en de aansluitende zuidvleugel verrezen in de 13de eeuw, de westvleugel kwam in de 15de eeuw tot stand.
Het in 1569 door de Spanjaarden beschadigde kasteel kreeg begin 17de eeuw een nieuwe kap. De eindgevel van de zuidgevel stamt uit circa 1700. In 1801 werd het kasteel eigendom van Simon Merkelbach, die in 1807 ook de kasteelhoeve in bezit kreeg. De ingangspartij werd rond 1880 aangebracht. In 1968 is het kasteel onder leiding van P.C.H. Satijn gerestaureerd en als hotelrestaurant in gebruik genomen.
Het kasteel bevat een kelder met mergelstenen gewelf (zuidvleugel) en een kelder met bakstenen tongewelf (oostvleugel). De ronde hoektoren heeft een gemetseld koepelgewelf als vervanging van een oudere overdekking. In de oostvleugel bevinden zich een neogotisch trappenhuis en een stucplafond met het monogram van Simon Merkelbach.
De kasteelhoeve (Wittemer Allee 1a) kwam tot stand in de 16de-18de eeuw en is samengesteld uit verschillende gebouwen aan een onregelmatig gevormde binnenplaats. Het oudste gedeelte is uitgevoerd met mergelstenen speklagen en hoekblokken. Het wit gesausde poortgebouw met pachterwoning heeft een dichtgemetselde spitsboogvormige poortdoorgang met omrankte nis en wapenschild uit 1537-'38.
