Het is gelegen aan de afgedamde Maas tegenover Veen, ten zuidwesten van de stad Zaltbommel.
In de middeleeuwen was Aalst één van de zeven lage heerlijkheden in de Bommelerwaard, behorende tot het Kwartier van Nijmegen in het Hertogdom Gelre.
Gedurende de vijftiende en het grootste deel van de zestiende eeuw was Aalst in het bezit van de familie van Aalst.
Door huwelijk erfde de familie Torck de bezittingen, waarna alles overging in het bezit van het geslacht van Lynden.
Tegelijkertijd met de kastelen in Brakel en Poederoijen is ook het Kasteel Aalst gebouwd door Boudewijn de tweede, heer van Heusden.
Aalst ligt in het rivierkleigebied van de Bommelerwaard, aan de Afgedamde Maas, op een hoogte van ongeveer 2 meter, tegenover Veen, dat met een veerpont te bereiken is.
