Loi des grands nombres

Soit X une variable aléatoire d’espérance μ et de variance V(X). L’événement |X − μ| ≥ δ, avec δ strictement positif, signifie que X se trouve à une distance au moins égale à δ de sa moyenne théorique. Il réunit les deux possibilités X ≤ μ − δ et X ≥ μ + δ. Les valeurs situées exactement aux deux bornes appartiennent à cet événement. Son complément est |X − μ| < δ : l’intervalle central est alors ouvert.

L’inégalité de Bienaymé-Tchebychev affirme P(|X − μ| ≥ δ) ≤ V(X)/δ². La variance au numérateur traduit la dispersion ; le carré du seuil au dénominateur traduit l’éloignement recherché. Une probabilité étant au plus égale à 1, une borne calculée supérieure à 1 est vraie mais n’apporte aucune précision utile. Il faut alors modifier la question, améliorer l’information sur la loi ou accepter que cette seule inégalité ne fournisse pas de bonne estimation.

L’écart type σ = √V(X) fournit une unité naturelle. Si σ > 0 et k > 0, choisir δ = kσ donne P(|X − μ| ≥ kσ) ≤ 1/k². À trois écarts types, la borne est donc 1/9. Ce résultat ne suppose pas une loi particulière ; il ne faut pas y substituer des pourcentages propres à une autre loi. Si la variance est nulle, X = μ avec probabilité 1 et tout écart strictement positif a une probabilité nulle.

Considérons des variables X₁, …, Xₙ indépendantes de même loi, d’espérance μ et de variance σ². Leur moyenne est Mₙ = (X₁ + … + Xₙ)/n, avec n entier strictement positif. Les résultats sur les sommes donnent E(Mₙ) = μ et V(Mₙ) = σ²/n. En appliquant Bienaymé-Tchebychev à la variable Mₙ, on obtient P(|Mₙ − μ| ≥ δ) ≤ σ²/(nδ²). C’est l’inégalité de concentration pour la moyenne.

La démonstration comporte deux étapes distinctes. La première calcule la variance de la moyenne et utilise l’indépendance. La seconde applique une inégalité à cette nouvelle variable. Si les mesures partagent une même erreur aléatoire reproduite à chaque observation, leur moyenne ne bénéficie pas forcément de cette réduction. Une grande quantité de données ne suffit donc pas : le modèle de collecte et la dépendance éventuelle comptent.

Fixons δ > 0. Lorsque n tend vers l’infini, σ²/(nδ²) tend vers 0. La probabilité d’écart est positive ou nulle et majorée par une quantité qui tend vers 0 : elle tend donc elle-même vers 0. On obtient la loi des grands nombres sous sa forme de convergence en probabilité. Pour une précision fixée à l’avance, le risque de la dépasser devient arbitrairement petit lorsque la taille de l’échantillon est suffisamment grande.

Cette conclusion ne signifie pas que Mₙ se rapproche de μ à chaque étape. Une nouvelle observation peut éloigner temporairement la moyenne. Elle ne signifie pas non plus qu’à partir d’un rang donné toutes les moyennes sont exactement égales à μ. Enfin, après plusieurs piles, la probabilité du prochain lancer d’une pièce équilibrée indépendante reste 1/2 : la loi des grands nombres ne crée aucune obligation de rattrapage.

On veut parfois garantir P(|Mₙ − μ| ≥ δ) ≤ α pour une précision δ > 0 et un risque α compris strictement entre 0 et 1. Il suffit d’imposer σ²/(nδ²) ≤ α. Comme les quantités multipliées sont strictement positives, cette condition équivaut à n ≥ σ²/(αδ²). On choisit le premier entier supérieur ou égal au quotient et au moins égal à 1. Cette taille est suffisante pour la garantie obtenue par l’inégalité ; elle n’est pas nécessairement la taille minimale permise par la loi exacte.

Les paramètres n’ont pas le même effet. Diviser le risque par deux exige de multiplier cette taille suffisante par deux. Diviser la précision par deux exige de la multiplier par quatre, à cause du carré de δ. La recherche d’une grande précision est donc coûteuse en observations. Si la variance n’est pas connue mais majorée par une valeur v, on peut remplacer σ² par v : on obtient encore une condition suffisante, généralement plus prudente.

Pour observer le phénomène, on peut répéter de nombreuses fois le prélèvement d’un échantillon de taille n et calculer chaque moyenne. La proportion de moyennes éloignées de μ estime la probabilité d’écart. En recommençant avec plusieurs tailles, on visualise la concentration. Une seule trajectoire de fréquences ne mesure pas directement cette probabilité. De plus, une proportion simulée n’est pas une démonstration et peut varier d’une expérience numérique à une autre.

Le mot garantie porte donc sur une probabilité calculée dans un modèle. Il ne transforme jamais une expérience aléatoire en expérience certaine. Pour un sondage réel, une sélection biaisée des personnes peut invalider l’assimilation à un échantillon indépendant de même loi ; augmenter sa taille ne corrige pas automatiquement ce biais.