Kasteel Dussen (Binnen 1) is een omgracht, grotendeels bakstenen bouwwerk, bestaande uit drie vleugels om een binnenplaats, die aan de noordzijde wordt afgesloten door een toegangspoort tussen twee zware torens.
Het oudste kasteel ter plaatse was mogelijk een grote vierkante woontoren uit de eerste helft van de 14de eeuw. In 1387 nam men deze woontoren waarschijnlijk op in de zuidvleugel van een nieuw kasteel, evenals het huidige met een nagenoeg vierkante plattegrond en met de ingang tussen twee torens. Dit kasteel werd echter vernield door de St.-Elisabethsvloed van 1421 en pas vijftig jaar later herbouwd. Daarbij brak men het vervallen muurwerk tot boven de kelders weg; alleen aan de ingangszijde bleef tot op grotere hoogte oud muurwerk behouden.
Het door Spaanse troepen tijdens de Tachtigjarige Oorlog zwaar beschadigde kasteel onderging na verkoop in 1608 een ingrijpende verbouwing. De oost- en de zuidvleugel werden met een verdieping verhoogd en kregen aan de kopzijde een trapgevel met duivengaten. Aan het binnenplein verrees tegen beide vleugels een elegante galerij met toscaanse zuilen. Verder herbouwde men het zuidelijke deel van de westvleugel en het onderste gedeelte van de westelijke poorttoren. Boven de ingang verrees een slanke vierkante toren en de zuidgevel kreeg een driezijdige, arkelachtige uitbouw. Omstreeks 1682 werd de westvleugel voltooid en van een galerij voorzien.
Toen werden ook de verdiepingen van de vleugels tot boven de galerij uitgebreid. Verder trok men de westelijke poorttoren tot dezelfde hoogte op als de oostelijke. Van 1901 tot 1922 deed het kasteel dienst als klooster; aan de oostzijde werd een kapel aangebouwd, die in 1935, toen het kasteel werd verbouwd tot gemeentehuis, weer werd gesloopt. Bij beschietingen in 1945 stortte de gehele zuidoosthoek in en werden elders grote bressen in de muren geslagen. Bij de restauratie van het kasteel in 1946-'53 heeft men de vierkante toren boven de ingang niet herbouwd.
