Una primera versión de «Start Me Up» se grabó en Múnich durante las sesiones de estudio de Black and Blue y una segunda en las sesiones de 1978 para Some Girls. Los nombres dados a estas versiones eran «Never Stop» y «Start It Up»; la canción tenía originalmente un sonido más reggae.

En 1981, el productor Chris Kimsey le propone a Mick Jagger usar las canciones archivadas para un nuevo álbum con vistas a realizar una nueva gira. Así, Kimsey encuentra dos grabaciones de la canción con un sonido mucho más rockero (ahora con bajo eléctrico) entre una cincuentena de tomas con sonido reggae. En Nueva York se le dan los toques finales a la canción, incluyendo el cambio en la letra de «start it up» a «Start Me Up» y le puso énfasis al bajo eléctrico.