Aleksandrov had als kleine jongen al een buitengewone stem, zodat zijn ouders hem naar Sint-Petersburg stuurden, waar hij lid van het kerkkoor van de Kazankathedraal werd.
Hij studeerde eerst aan de keizerlijke kapel in Sint-Petersburg; daarnaast was hij leerling van Nikolaj Medtner, Anatoli Ljadov en Aleksandr Glazoenov in het vak compositie aan het Konservatorija im.
Hij werkte vanaf 1918 als professor aan het Moskou Conservatorium P.I. Tsjaikovski van Moskou.
Aleksandrov was oprichter van het Koor van het Rode Leger en was ook vele jaren dirigent van dit koor.
Waarschijnlijk het bekendst werd hij als de componist van de hymne van de Sovjet-Unie, aangenomen op 1 januari 1944, die hij samen met de dichter Sergej Michalkov schreef.
Op 14 maart 1937 werd hij als verdiende kunstenaar van de Sovjet-Unie onderscheiden.
