Loi de Benford
La loi de Benford, initialement appelée loi des nombres anormaux par Benford[1],[2], fait référence à une fréquence de distribution statistique observée empiriquement sur de nombreuses sources de données dans la vraie vie, ainsi qu'en mathématiques.
Dans une série de données numériques, on pourrait s'attendre à voir les chiffres de 1 à 9 apparaître à peu près aussi fréquemment comme premier chiffre significatif, soit avec une fréquence de 1/9 = 11,1 % pour chacun. Or, contrairement à cette intuition (biais d'équiprobabilité), la série suit très souvent approximativement la loi de Benford : pour près du tiers des données, le 1er chiffre significatif le plus fréquent est le 1. Viennent ensuite le chiffre 2, puis le 3, etc., et la probabilité d'avoir un 9 comme premier chiffre significatif n'est que de 4,6 %. C'est une loi observée aussi bien dans les mathématiques sociales, c'est-à-dire les sciences humaines et sociales, que dans des tables de valeurs numériques comme celles qu'on rencontre en physique[3], en volcanologie[4], génétique[5], en BTP, en économie (taux de change), ou même dans les numéros de rue de son carnet d'adresses.
Énoncé de la loi
Une série de nombres réels en écriture décimale suit la loi de Benford si la fréquence d'apparition du premier chiffre significatif c vaut approximativement
- pour tout c entre 1 et 9 où désigne le logarithme décimal.
On vérifie que la somme de ces fréquences vaut log(10) = 1.
Par exemple, la probabilité benfordienne qu'un nombre commence par un 1, comme 1 012, ou 0,000189 vaut log(2) ≈ 30,1%, voir la suite A007524 de l'OEIS.
L'espérance du premier chiffre vaut alors , loin du 5 donné par une loi uniforme.
Cette définition se généralise pour l'écriture des nombres en base b en remplaçant log par logb ; par exemple :
- en système binaire, la probabilité benfordienne qu'un nombre commence par un 1 vaut log2(2) = 1 (tous les nombres commencent par un 1)
- en base 3, la probabilité benfordienne qu'un nombre commence par un 1 vaut log3(2) ≈ 63%, par un 2 : log3(3/2) ≈ 37%.
Historique
Cette distribution a été observée une première fois en 1881 par l'astronome américain Simon Newcomb, dans un article de l'American Journal of Mathematics[6], après qu'il se fut aperçu de l'usure (et donc de l'utilisation) préférentielle des premières pages des tables de logarithmes (alors compilées dans des ouvrages). Cet article de Newcomb passe complètement inaperçu pendant cinquante-sept ans. Frank Benford, aux alentours de 1938, remarque à son tour cette usure inégale, croit être le premier à formuler cette loi qui porte, conformément à la loi de Stigler, indûment son nom aujourd'hui, et arrive aux mêmes résultats après avoir répertorié des dizaines de milliers de données (longueurs de fleuves, cours de la bourse, etc.).
Valeurs des fréquences
Premiers exemples et contre-exemples
La loi de Benford n'est pas valable si l'on tire au hasard des nombres entiers strictement positifs ayant n chiffres au plus ; il y en a en effet autant qui commencent par 1, par 2,... ou par 9, soit .
Par contre, dans une liste de 100 nombres obtenus comme produits de deux nombres ou plus tirés au hasard entre 1 et 10 000, les fréquences des chiffres 1 à 9 en première position suivent peu ou prou les valeurs de la loi de Benford. Une simulation donne les fréquences suivantes :
26 %, 23 %, 12 %, 11 %, 6 %, 6 %, 7 %, 5 %, 4 %, à comparer avec les valeurs attendues selon la loi de Benford :
30 %, 18 %, 12 %, 10 %, 8 %, 7 %, 6 %, 5 %, 4 %.
Dans la vie réelle, on constate souvent la décroissance des probabilités en fonction du premier chiffre, voire une adéquation avec les valeurs de la loi de Benford : données géographiques, données physiques, résultats sportifs, taille des fichiers sauvegardés dans un ordinateur, etc.
Par exemple, Mickaël Launay a relevé en 2019 1226 prix dans un supermarché, et a obtenu comme fréquences successives pour les premiers chiffres de 1 à 9 : 32 %, 26 %, 15 %, 9 %, 5 %, 4 %, 3 %, 2 %, 4 %[7].
Par contre, cette loi n'est pas vérifiée si la série de données comporte :
- des contraintes quant à l'échelle des valeurs vraisemblables : par exemple, la taille des individus, lorsqu'elle est exprimée dans le système métrique, ne suit, à l'évidence, pas la loi de Benford puisque la quasi-totalité des mesures commence par le chiffre « 1 » ;
- des contraintes sur le premier chiffre comme pour les numéros de téléphone.
Loi de Benford continue et uniformité de la partie fractionnaire du logarithme
La mantisse d'un réel étant définie comme le nombre de l'intervalle obtenu en déplaçant la virgule après le premier chiffre significatif (par exemple, la mantisse de 0,00125 est 1,25), on donne la définition suivante, généralisant la précédente, et également constatée dans la vraie vie.
Définition : Une série de nombres réels en écriture décimale suit la loi de Benford continue si pour tout inclus dans , la fréquence des nombres de la série dont la mantisse appartient à vaut .
Les premiers chiffres des nombres de la série suivent alors la loi de Benford simple, puisque le premier chiffre d'un réel est égal à si la mantisse de appartient à , et la probabilité correspondante vaut alors .
Or, la mantisse de étant obtenue par la formule : où désigne la partie fractionnaire, la mantisse de appartient à si et seulement si appartient à ; on obtient alors le théorème de Diaconis[8] :
Théorème — Une série de nombre réels en écriture décimale suit la loi de Benford continue, (donc aussi la loi de Benford simple) si et seulement si les parties fractionnaires des logarithmes de ses termes sont uniformément réparties sur [0,1] (ou en termes plus techniques, si les logarithmes de ses termes sont équirépartis modulo 1).
En fait, c’est sous cette forme plus générale impliquant la mantisse logarithmique que la loi de Benford a été énoncée la première fois par Newcomb[9].
Tout ceci se généralise bien sûr en base quelconque.
Cas des chiffres suivant le premier
Loi d'un bloc de k chiffres
En utilisant la loi de Benford en base ou la loi de Benford continue, on obtient que la probabilité benfordienne que l'écriture décimale d'un réel commence par un nombre de chiffres entre et vaut : .
Par exemple, la probabilité benfordienne qu'un nombre commence par 314, comme 3,14159..., 314285,7... ou 0,00314465... vaut (ici, et ).
Cette définition se généralise pour l'écriture des nombres en base en remplaçant par ; par exemple :
- en système binaire, la probabilité benfordienne qu'un nombre commence par vaut ; il y a donc légèrement plus de nombres commençant par que par .
- en base 3, la probabilité benfordienne qu'un nombre commence par vaut .
Loi des chiffres suivant le premier
Ce résultat permet de trouver la probabilité benfordienne qu'un chiffre soit à une position donnée dans un nombre. Par exemple, la probabilité benfordienne qu'un soit rencontré en deuxième position vaut :
Plus généralement, la probabilité benfordienne que le chiffre soit en position vaut :
On remarque que la loi de cette probabilité se rapproche rapidement d'une loi uniforme avec une valeur de 10% pour chacun des dix chiffres, comme illustré ci-dessous[10].
chiffre | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
---|---|---|---|---|---|---|---|---|---|---|
1er | NC | 30.1% | 17.6% | 12.5% | 9.7% | 7.9% | 6.7% | 5.8% | 5.1% | 4.6% |
2e | 12.0% | 11.4% | 10.9% | 10.4% | 10.0% | 9.7% | 9.3% | 9.0% | 8.8% | 8.5% |
3e | 10.2% | 10.1% | 10.1% | 10.1% | 10.0% | 10.0% | 9.9% | 9.9% | 9.9% | 9.8% |
On peut supposer une distribution uniforme à partir du quatrième chiffre car «0» apparaît 10,0176% du temps en quatrième position et «9» apparaît 9,9824% du temps.
Il est également possible de généraliser ce résultat en base quelconque. La probabilité benfordienne que le chiffre soit en position d'un nombre en base vaut :
[11].
Lien avec la loi de Zipf
Comme pour grand, la loi de Benford d'apparition du nombre comme premier bloc peut être vue comme une loi de Zipf approchée[12].
Inversement si conformément à la loi de Zipf, l'on attribue le poids à l'entier , et définit la densité d'une partie de comme la limite quand tend vers l'infini, si elle existe, de , alors la densité de l'ensemble des entiers >0 commençant par le préfixe en écriture décimale vaut justement [12].
Applications
Détection de la fraude fiscale
Dans un article publié en 1972, l'économiste Hal Varian propose l'idée d'utiliser la loi de Benford pour détecter la fraude fiscale[13]. Les premiers chiffres significatifs 5 et 6 prédominent nettement dans les données falsifiées : 40 % pour les 5 et plus de 20 % pour les 6.
Pour proposer un modèle de prédiction d'indice boursier, il convient d'inclure un test de cohérence car la loi de Benford ne fait pas de distinction entre les nombres 20 et 200 000 : ces deux nombres ayant 2 comme premier chiffre significatif[14].
Les chiffres peuvent cependant aussi être influencés par le souci d'éviter des seuils et des plafonds fiscaux, dans le cadre d'une optimisation fiscale, qui n'a rien d'illégal.
Détection de la fraude comptable
Dans une étude publiée en 2011, quatre économistes allemands, Bernhard Rauch, Max Göttsche, Gernot Brähler et Stefan Engel ont testé la loi de Benford sur les données comptables produites par les États membres de l'Union européenne. Ils montrent que la Grèce est le pays européen qui s'éloigne le plus des prédictions de la loi de Benford. La Belgique est le second pays qui dévie le plus par rapport à cette loi[15],[16].
Détection de la fraude électorale
La loi de Benford a aussi été utilisée pour mettre en évidence la fraude électorale. Le canton de Genève en Suisse l'a utilisée pour détecter d'éventuelles irrégularités dans les scrutins du canton[17],[18].
Trois politologues ont publié une étude montrant à partir de simulations que la mise en évidence de la fraude à partir d'un test d'adéquation à la loi de Benford était problématique et ne donnait pas de bons résultats sur les données simulées[19].
Détection de fraude scientifique
La loi de Benford a aussi été utilisée pour détecter des données contrefaites dans des articles scientifiques[20].
Explications
Invariance d'échelle
L'observation empirique a montré que les ensembles de mesures physiques qui suivent la loi de Benford continuent de le faire après leur conversion dans d'autres unités (longueurs, de même pour des listes de prix exprimés dans une monnaie donnée, après un changement de devise)[21]. En revanche, on a remarqué que si un tableau de nombres ne suit pas d'assez près la loi de Benford, le changement de monnaies ou la conversion d'unité modifie considérablement la fréquence d'apparition du premier chiffre.
On en est arrivé à démontrer le théorème suivant, dit "d'invariance d'échelle" : la seule loi de probabilité du premier chiffre qui reste invariante par multiplication par toute constante >0, est la loi de Benford[22] ; une telle loi est dite scalante. Ainsi, la pertinence consiste à observer les écarts multiplicatifs et « dans une liste quelconque de données, on trouvera la même proportion de nombres entre 1 et 2, qu'entre 2 et 4 ou entre 4 et 8[23] ».
Pour de nombreux ensembles de nombres, et tout particulièrement ceux qui n'ont pas d'ordre de grandeur imposé, comme les chiffres d'affaires d'entreprises et les cours de bourse[24], cette supposition est raisonnable.
Donald Knuth donne une démonstration de cette propriété dans le tome 2 de son The Art of Computer Programming, intitulé Seminumerical Algorithms. Cette démonstration a été redonnée par d'autres sans citer Knuth[25].
La loi de Benford est également invariante par changement de système de numération[6].
Produit de variables indépendantes
En 1994, Jeff Boyle a montré que si une variable résulte de la multiplication entre elles d'un grand nombre de variables indépendantes, elle suit à peu près la loi de Benford (exactement à la limite)[27],[20]. Autrement dit, la loi de Benford serait naturelle si les nombreux facteurs qui expliquent telle ou telle grandeur agissent multiplicativement.
Ce résultat est un équivalent logarithmique de la loi des grands nombres[28].
Équipartition de la partie fractionnaire
En 2008, Nicolas Gauvrit et Jean-Paul Delahaye redonnent une explication de la loi de Benford[20] en utilisant le caractère étalé et régulier de la partie fractionnaire des logarithmes des nombres d'une série statistique[29].
Ils utilisent en particulier le théorème de Diaconis.
Ils suggèrent de plus qu'un équivalent de cette loi fondé sur d'autres fonctions que le logarithme fonctionnerait tout aussi bien[20], mais donnerait des lois moins simples que celle de Benford[28].
Exemples de suites infinies vérifiant ou ne vérifiant pas la loi de Benford
Par définition, une suite de réels vérifie la loi de Benford en base si la fréquence limite des termes de la suite dont l'écriture en base (sans tenir compte de la virgule) commence par le chiffre vaut .
Plus précisément, notant l'ensemble des valeurs de la suite et l'ensemble des réels dont l'écriture en base commence par le chiffre , cela signifie que .
Pour une suite entière, cela équivaut au fait que la densité asymptotique relative de dans existe.
Suites connues pour vérifier cette loi
Pour les suites suivantes, la suite est équirépartie modulo 1, ce qui prouve qu'elles suivent la loi de Benford en base b (voir ci-dessus) :
- la suite des puissances de 2 [30] (pour b différent de 2) ; résultat démontré en 1968 par Arnold et Avez[31]
- plus généralement la suite des puissances d'un entier dont le logarithme en base b est irrationnel[32]
- la suite de Fibonacci en toute base[33],[34]
- la suite des factorielles en toute base[35]
- la suite en toute base[36]
Notons que le fait que ces suites suivent la loi de Benford prouve que le nombre dont le développement après la virgule est formé de la concaténation des éléments de cette suite est un nombre univers. Par exemple pour les puissances de 2, on obtient le nombre univers .
Suites connues pour ne pas vérifier cette loi
On démontre que si une suite vérifie la loi de Benford, alors la suite est non majorée[36]. On en déduit les contre-exemples suivants :
- la suite des entiers
- plus généralement les suites et les suites polynomiales positives
- la suite
- la suite des nombres premiers
Cependant, certaines de ces suites suivent une loi de Benford affaiblie en les sens suivants :
Suite des entiers
Pour cette suite, les fréquences du premier chiffre c en base b oscillent constamment entre les deux valeurs :
et
(1/9 et 5/9 par exemple pour le chiffre 1 en base 10, voir une démonstration à densité asymptotique).
On note que ces valeurs décroissent, de façon inversement proportionnelle à c et c+1, et que la densité benfordienne est comprise entre ces deux valeurs extrêmes.
De plus, en effectuant des moyennes de Césaro successives, on obtient bien à la limite cette densité[37],[38].
Et comme on l'a vu ci-dessus, la densité logarithmique de l'ensemble est bien égale à [39].
Suite des nombres premiers
Pour cette suite également, les fréquences des premiers chiffres ne convergent pas [36],[40],[41], mais la densité logarithmique relative de parmi les nombres premiers est bien égale à [39].
Exemples de lois du premier chiffre pour des variables issues de variables uniformes entre 0 et 1
- Si est une variable aléatoire réelle uniforme sur , le premier chiffre de suit une loi uniforme entre 1 et 9 ; cependant, pour , la probabilité que le premier chiffre soit égal à vaut , donnant (pour allant de 1 à 9) la suite de valeurs (décroissante) en % : 19,2; 14,7 ; 12.4 ; 10.9 ; 9,9 ; 9,1 ; 8,5 ; 8,0 ; 7,5.
- Pour , on obtient la probabilité qui tend, lorsque tend vers l'infini, vers : le premier chiffre de tend donc, en loi, vers une variable benfordienne.
- Idem pour un produit de variables indépendantes uniformes sur (résultat de Boyle mentionné ci-dessus).
- Si et sont deux variables aléatoires réelles uniforme indépendantes sur , la probabilité que le premier chiffre de soit égal à vaut dont les valeurs successives sont 33,3 ;14,8 ; 10,2 ; 8,3 ; 7,4 ; 6,9 ; 6,6 ; 6,3 ; 6,2, assez proches de celles de la loi de Benford.
Notes et références
- (en) Frank Benford, « The law of anomalous numbers », Proceedings of the American Philosophical Society, vol. 78, 1938, p. 551-572.
- Ian Stewart, "1 est plus probable que 9", in Pour la science, 190, p.96. et aussi in L'univers des nombres, Belin, 2000, p. 59.
- (en) Jean-Christophe Pain, « Benford's law and complex atomic spectra », Physical Review E, vol. 77, , p. 012102
- (en) A. Geyer et Joan Marti, « Applying Benford's Law to volcanology », sur www.researchgate.net, (consulté le )
- (en) James L. Friar, Terrance Goldman, and Juan Pérez–Mercader, « Genome Sizes and the Benford Distribution », sur US National Library of Medicine- National Institutes of Health, (consulté le )
- (en) Ted Hill (en), « Le premier chiffre significatif fait sa loi »(Archive.org • Wikiwix • Archive.is • Google • Que faire ?), , p. 73.
- Mickaël Launay, Le théorème du parapluie, Flammarion, , p. 13
- (en) P. diaconis, « The distribution of leading digits and uniform distribution mod” », Annals of Probability 5, , p. 72-81
- (en) S. Newcomb, « Note on the frequency of use of the different digits in natural numbers », American Journal of Mathematics 4, , p. 39-40.
- Theodore P. Hill, "The Significant-Digit Phenomenon", The American Mathematical Monthly, Vol. 102, No. 4, (Apr., 1995), p. 322–327. Official web link (subscription required). Alternate, free web link.
- « Benford's Law », sur www.mathpages.com (consulté le )
- J. P. Delahaye, « Les entiers ne naissent pas égaux », Pour la Science 421, , p. 84 (lire en ligne)
- (en) Hal Varian, « Benford's Law », The American Statistician, vol. 26, no 3, , p. 65-66 (lire en ligne, consulté le ).
- Hill 1999, p. 75.
- (en) Bernhard Rauch, Max Göttsche, Gernot Brähler et Stefan Engel, « Fact and Fiction in EU-Governmental Economic Data », German Economic Review (en), vol. 12, no 3, , p. 243-255 (lire en ligne, consulté le ).
- « Un économiste soupçonne la Belgique d’avoir falsifié ses comptes », Le Soir, (lire en ligne).
- « Des statisticiens traquent la fraude électorale », Le Temps, (ISSN 1423-3967, lire en ligne, consulté le )
- Tests de détection de fraudes pour la votation du 3 mars 2013, Chancellerie d'État du Canton de Genève, 24 avril 2013.
- . (en-US) Joseph Deckert, Mikhail Myagkov et Peter Ordeshook, « Benford's Law and the Detection of Election Fraud », Political Analysis, vol. 19, no 3, , p. 245-268 (lire en ligne, consulté le ).
- Nicolas Gauvrit et Jean-Paul Delahaye, « Pourquoi la loi de Benford n'est pas mystérieuse », Mathématiques et Sciences Humaines, no 182, , p. 7-15 (lire en ligne, consulté le ).
- Nicolas Gauvrit, Vous avez dit hasard ? Entre mathématiques et psychologie, Éditions Belin, (lire en ligne), p. 29
- (en) T. HILL, « Base-invariance implies Benford's law », Proc. American Mathematical Society, 123(2), , p. 887-895
- Michel Launay, op. cit., p.47
- (en) L. Pietronero, E. Tosatti, V. Tosatti, A. Vespignani, « Explaining the uneven distribution of numbers in nature: The laws of Benford and Zipf », Physica A: Statistical Mechanics and its Applications, vol. 293, nos 1–2, , p. 297-304 (DOI 10.1016/S0378-4371(00)00633-6).
- (en) Theodore P. Hill, « Base invariance implies Benford's Law », Proc. Amer. Math. Soc., vol. 123, , p. 887-895 (lire en ligne).
- La loi de Benford.
- (en) J. Boyle, « An Application of Fourier Series to the Most Significant Digit Problem », Amer. Math. Monthly, vol. 101, , p. 879-886.
- Nicolas Gauvrit, Jean-Paul Delahaye, « Loi de Benford générale », Math. & Sci. hum., no 186, , p. 5-15 (lire en ligne)
- « Les distances commencent le plus souvent par le chiffre 1 », Science et Vie, août 2010, p. 61.
- Ralph Raimi. Raimi, « The First Digit Problem », American Mathematical Monthly, vol. 83, no 7, , p. 521–538 (DOI 10.2307/2319349, JSTOR 2319349)
- (en) Arnold, V.A., Avez, A., Ergodic problems of classical mechanics., Benjamin,
- Conséquence du théorème d'équidistribution
- Washington, « Benford's Law for Fibonacci and Lucas Numbers », The Fibonacci Quarterly, vol. 19, no 2, , p. 175–177
- Duncan, « An Application of Uniform Distribution to the Fibonacci Numbers », The Fibonacci Quarterly, vol. 5, , p. 137–140
- Sarkar, « An Observation on the Significant Digits of Binomial Coefficients and Factorials », Sankhya B, vol. 35, , p. 363–364
- (en) Peter N. Posch, « A Survey on Sequences and Distribution Functions satisfying the First-Digit-Law. », Journal of Statistics and Management Systems, Volume 11, (lire en ligne)
- (en) B.J. Flehinger, « On the probability that a random integer has initial digit a », Amer. Math. Monthly 73, , p. 1056—1061
- Une démonstration du résultat de Flehinger se trouve dans un livre de Knuth (The Art of Computer Programming, Vol. 2. Addison-Wesley Publishing Company, 1981).
- A. Fuchs et G. Letta, « Le problème du premier chiffre décimal pour les nombres premiers », The Foata Festschrift. Electron, J. Combin. 3, n°2, (lire en ligne)
- Does Benford's Law Apply to Primes? https://primes.utm.edu/notes/faq/BenfordsLaw.html
- (en) R. E. Whitney, « Initial Digits for the Sequence of Primes », The American Mathematical Monthly Vol. 79, No. 2, , p. 150-152 (lire en ligne)
Voir aussi
Bibliographie
- (en) Ted Hill, « The first digit phenomenon », American Scientist, vol. 86, 1998, p. 358-363
- Jean-Paul Delahaye, « L'étonnante loi de Benford », Pour la Science, , p. 90-95
- Vincent Genest, Christian Genest, « La loi de Newcomb-Benford ou la loi du premier chiffre significatif », Bulletin de l'Association mathématique du Québec, vol. 51, , p. 22-39
- Jean-Paul Delahaye, « Une explication pour la loi de Benford », Pour la science, no 489, , p. 74-79 (lire en ligne)
Liens externes
- [vidéo] ARTE, La loi de Benford sur YouTube
- Portail des probabilités et de la statistique
- Portail de la finance