Kasteel Zwijnsbergen (Helvoirtsestraat 6), gelegen ten noorden van het dorp, is een gedeeltelijk omgracht gebouw op onregelmatige plattegrond.
De hoofdvleugel met zadeldak tussen trapgevels en de zeskante traptoren zijn nu het oudste gedeelte van het kasteel. Ze verrezen aan het eind van de 16de eeuw op de plaats waar misschien al in de 13de eeuw een versterkte hoeve stond. De traptoren draagt een wapensteen van het geslacht Van Grevenbroeck, dat in de 17de en het begin van de 18de eeuw het kasteel bezat. Na verbouwingen in de 17de en de 18de eeuw onderging het gebouw in 1817 een ingrijpende verbouwing en uitbreiding, waarbij onder meer de ommuring en slotgracht gedeeltelijk verdwenen. Uit die tijd dateren ook de huidige vensters en in het interieur een stucreliëf met voorstelling van Hercules. De portierswoning (Helvoirtsestraat 8) is een wit gepleisterd bijgebouw uit 1847 met empire-deuren en -vensters en aan de voorzijde een zuilenportiek.
