De film volgt de levens van vier muzikale stellen en hun kinderen tussen 1936 en 1980, het jaar waarin de Amerikaanse Glenn en Suzan, Simon en Anne uit Parijs, de Duitse Karl en Madga en het Russische koppel Boris en Tatjana elkaar treffen op een UNICEF-gala. De muziek is wat de personages - werkzaam in de jazz, het variété, de klassieke muziek en het ballet - verbindt, ondanks de grote verschillen in levensloop. De liefde voor de muziek brengt alle personages bij elkaar in de wervelende finale, met een door Maurice Béjart gechoreografeerde opvoering van Ravels Boléro.
De grootste gebeurtenis in de film is de Tweede Wereldoorlog, die de verhalen van de vier families bij elkaar brengt en het lot van sommigen bepaalt. Hoewel alle personages fictief zijn, zijn velen gebaseerd op historische artiesten en kunstenaars als Édith Piaf, Josephine Baker, Herbert von Karajan, Glenn Miller, Rudolf Noerejev enz. De Bolero brengt de vier families aan het eind van de film allemaal samen.