Saint-George est né esclave en Guadeloupe, sa mère, Anne, dite Nanon (née vers 1723 au Lamentin, en Guadeloupe) étant elle-même une esclave d'origine sénégalaise. Son père, Georges de Bologne de Saint-George (1711-1774), colon protestant d'origine néerlandaise, lui donna une éducation soignée. Il excella très jeune dans plusieurs disciplines : équitation, escrime, danse et musique. Arrivé définitivement en métropole en 1753, il y fut rejoint, deux ans plus tard, par ses parents et entra à l'académie de Nicolas Texier de la Boëssière afin de se préparer au métier d'officier. En 1761, il fut admis dans le corps prestigieux des gendarmes de la garde du Roi et devint rapidement célèbre pour ses remarquables capacités artistiques et sportives. Il se fit notamment connaître comme violoniste prodige et escrimeur hors pair. Il fut pressenti pour diriger l'Opéra de Paris.