Peut-on faire confiance aux sondages ?

Extrait de l'ouvrage collectif "Les Sciences, ça nous regarde" (en librairie le 21 mars 2013)

En 1998, un groupe d’historiens des sciences fut sollicité par un tribunal américain dans le cadre d’un procès opposant la Chambre des représentants, à majorité républicaine, au département du Commerce, relevant de l’administration démocrate de Bill Clinton. La question posée aux historiens était insolite : est-il possible que Thomas Jefferson, un des pères de la Constitution américaine de 1787, ait rencontré à Paris le mathématicien français Pierre-Simon Laplace, lors de son ambassade en France à la fin du règne de Louis XVI ? Comment un tel point d’érudition historique en venait-il à intéresser un tribunal, deux siècles plus tard, au point de susciter une expertise savante ? Pour répondre, il faut reconstituer l’histoire d’une méthode de mesure, aujourd’hui banale mais longtemps réprouvée, celle des enquêtes par sondage.

Est-il légitime d’extrapoler des résultats obtenus sur un « échantillon » à la population entière dont est issu cet échantillon ? Toute la difficulté vient de l’ambiguïté du mot « légitime » : celui-ci est-il entendu au sens scientifique ou au sens juridique ? La tension entre ces deux formes de légitimité est essentielle pour interpréter notre histoire… La Constitution étasunienne de 1787 résultait d’un compromis entre ceux qui souhaitaient donner beaucoup de pouvoir à l’État fédéral, et ceux qui voulaient maintenir le plus de pouvoir possible aux treize États constituant les nouveaux « États-Unis » (les mêmes débats ont eu lieu en Europe en 2005 à propos du projet de Constitution européenne). Il fallait donc que les nouvelles institutions respectent les « poids relatifs » des États, par exemple pour la représentation au Congrès fédéral, ou pour la répartition des charges financières. Ces poids relatifs devaient pouvoir être représentés par un nombre, celui de la population mesurée par un recensement.

À l’époque, une question avait été débattue : comment compter les esclaves, nombreux dans les États du Sud ? Elle avait été résolue par un bien étrange compromis : chaque esclave était compté pour trois cinquièmes d’un citoyen « libre » ! Cette règle fut maintenue jusqu’à l’émancipation des esclaves, en 1865. Mais le problème de la représentation des populations pauvres noires, souvent descendantes des esclaves, et hispano-américaines persista, sous d’autres formes, jusqu’à nos jours. En effet, il devint flagrant, à partir des années 1970, que les quartiers urbains habités par ces populations étaient, pour de nombreuses raisons, plus difficiles à recenser complètement que les quartiers occupés par les classes moyennes. Il en résultait une sous-évaluation de ces populations, jugée fâcheuse par les démocrates, puisque les Noirs et les Hispaniques sont en général plus proches des démocrates que des républicains. Pour évaluer de façon plus juste ces populations, diverses propositions ont été faites par les statisticiens du Census Bureau, l’administration responsable du recensement. Elles faisaient notamment appel à des méthodes indirectes impliquant l’usage d’enquêtes par sondage aléatoire. Le sondage permet, paradoxalement, de mieux évaluer une population que ne le fait un recensement par dénombrement réel, théoriquement exhaustif mais en pratique très difficile à effectuer. Bien sûr, les résultats du sondage ne sont pas « certains », mais ils sont assortis d’un « intervalle de confiance », calculé à partir de la théorie mathématique des probabilités. Moyennant quoi, cette estimation incertaine est « sans biais » (sans erreur systématique), alors que le recensement, en théorie exhaustif, peut être fortement « biaisé », c’est-à-dire complètement faux !

Le recensement exhaustif peut être biaisé car, compte tenu de la méthode de collecte, certains quartiers déshérités, souvent peuplés de gens de couleur, sont très difficiles à explorer, et donc mal recensés. Alors qu’une méthode par sondage (tirage de logements) permet des relances, et plus de soin apporté à la collecte. Le raisonnement du Census Bureau en faveur de sa méthode était centré sur cet argument. Mais c’était sans compter sur le juridisme des républicains, majoritaires au Congrès, qui ont invoqué la lettre du texte de 1787 et l’idée de dénombrement réel pour intenter le procès évoqué ci-dessus. La méthode des sondages, qui par définition n’implique pas de dénombrement réel, est-elle bien constitutionnelle ?

Les historiens du groupe de travail réuni autour de Margo Anderson et Stephen Fienberg ont eu à répondre à deux questions. La méthode des sondages existait-elle déjà en 1787 ? Et, si tel était bien le cas, est-il possible qu’elle ait été connue des auteurs du texte fondateur de la démocratie américaine ? Parmi ceux-ci, Jefferson avait été ambassadeur de la jeune république dans la France des dernières années de l’Ancien Régime. Or il se trouve que, dans les années 1780, la question de la population de la France avait été posée par Louis XVI, en un temps où il semblait impraticable d’effectuer un recensement complet des sujets du roi.

Une solution de ce problème avait été présentée par le mathématicien Laplace devant l’Académie des sciences, le 30 novembre 1785. Elle s’appuyait sur le fait suivant : si la population entière n’était pas connue, en revanche le nombre annuel des naissances (en fait celui des baptêmes) était lui bien connu, grâce aux registres paroissiaux, qui enregistraient baptêmes, mariages et sépultures depuis au moins le XVIIe siècle. Laplace fit donc l’hypothèse que le rapport entre la population et le nombre des naissances était une constante, qu’il nomma le multiplicateur des naissances. C’est précisément ce multiplicateur qu’il mesura indirectement par une méthode d’échantillonnage analogue à nos modernes sondages, même si le mot n’existait pas encore. Pour cela il sélectionna un « échantillon » de quelques paroisses, pour lesquelles il fit effectuer un recensement exhaustif, dont les résultats, rapprochés du nombre des naissances pour une année dans ces mêmes paroisses, permirent d’évaluer le fameux « multiplicateur », qui était proche de 26 (soit un taux annuel de natalité de 3,85 %). Il suffisait ensuite de multiplier le nombre de naissances du royaume entier, déjà connu, de l’ordre de un million, par 26, pour en déduire une estimation de la population entière : environ 26 millions. Mais ce n’est pas tout : Laplace estima aussi l’« erreur » introduite par le fait de ne mesurer directement que la population d’une petite portion du royaume et d’en extrapoler ensuite les résultats, au moyen de la théorie probabiliste dite des « tirages dans une urne de Bernoulli ». Ceci lui permit de formuler sa réponse au roi en termes d’intervalle de confiance (la fameuse « fourchette » de nos instituts de sondage contemporains) ou, dans le langage du temps, d’« erreur à craindre ». Celle-ci étant fonction de la taille de l’échantillon, on pouvait, à l’inverse, calculer quelle taille était nécessaire pour atteindre une précision voulue à l’avance. On le voit, l’essentiel de la théorie moderne des sondages était ainsi formulé, deux ans avant 1787, date de la rédaction de la Constitution américaine !

La suite tient du roman policier : Jefferson, alors présent à Paris, aurait-il pu rencontrer Laplace et, ainsi, avoir eu connaissance de ses travaux ? Si la réponse avait été positive, cela aurait pu fournir une « evidence » (élément de preuve, au sens juridique anglais) dans le procès en cours. L’argument pouvait d’ailleurs être utilisé par l’un ou l’autre des camps en présence, selon que l’on estime ou non que la méthode supposée connue avait été explicitement exclue par l’expression « dénombrement réel ». Le groupe de travail estima la rencontre Jefferson-Laplace entre 1785 et 1787 peu probable. Ce mélange de scientisme et de juridisme est typiquement américain : les « experts » sont sollicités par les lawyers (avocats) défendant les plaideurs, puis leurs énoncés sont répercutés et retraduits dans le langage du droit, ce qui, pour des profanes produit des courts-circuits parfois surprenants, ici entre la sociabilité des salons parisiens de la fin du XVIII^e siècle et la mesure de la population des ghettos noirs des centres-ville américains de la fin du XX^e siècle.

Mais, au-delà de l’anecdote, l’histoire de la place des enquêtes par sondages dans la statistique officielle est révélatrice de l’évolution des façons de penser le rôle des nombres dans la vie sociale. En effet, la méthode proposée par Laplace en 1785 a été ensuite discréditée, tout au long du XIX^e siècle. Elle n’est réapparue que dans les années 1890, en Norvège. Or cette résurrection peut être racontée de deux façons, du point de vue de l’histoire des sciences, ou du point de vue de l’histoire de l’État. Le premier récit inclut Laplace, son « multiplicateur » et son « erreur à craindre » formulée en termes de probabilités. La « réinvention » fut le fait du Norvégien Anders Kiaer, qui présenta en 1895 (en français), devant les savants réunis par l’Institut international de statistique (IIS), une méthode de mesure de variables socio-économiques (le revenu, certaines dépenses, la taille des exploitations agricoles…) au moyen d’une enquête sur échantillon, dite « dénombrement représentatif ». S’il n’en donna aucune justification probabiliste, son échantillonnage était du type « choix raisonné », analogue à la « méthode des quotas » utilisée de nos jours par les entreprises de sondage, où l’échantillon est construit en le calant sur une structure socio-démographique a priori issue des recensements de population (sexe, âge, catégorie sociale). Le « test de validité » était fourni par une comparaison des mesures portant sur certaines variables communes à l’enquête sur échantillon, d’une part, et à un recensement exhaustif, d’autre part. Kiaer jugeait les différences assez faibles pour garantir la justesse des mesures des autres variables, celles qui ne figuraient pas dans le recensement.

Pourtant, en 1901, l’économiste allemand Ladislaus von Bortkiewicz critiqua ce mode de justification. Par un raisonnement probabiliste, il montra que les différences entre les résultats du dénombrement représentatif et ceux du recensement exhaustif ne sont pas si négligeables que le dit Kiaer, et qu’elles sont, on dirait aujourd’hui, « significatives ». À ce coup apparemment rude, ni Kiaer ni aucun autre statisticien ne répondirent : l’argument probabiliste semble être alors tombé dans le vide. Les temps n’étaient pas encore mûrs pour une mathématisation probabiliste de la statistique officielle. Celle-ci n’interviendra que dans les années 1920 en URSS et 1930 aux États-Unis, pour la statistique de l’agriculture et du chômage, à la suite des travaux du Russe Alexandre Kovalevski et du Polonais Jerzy Neyman. En 1936, la technique des sondages fit une percée médiatique dans un autre domaine, celui des sondages préélectoraux, avec les enquêtes d’opinion de George Gallup. Le récit de cette histoire désormais fameuse, telle que rapportée en France par Jean Stoetzel en 1938, mentionne une enquête menée par Gallup sur un échantillon aléatoire, avant l’élection présidentielle étasunienne de 1936, qui avait prévu correctement la victoire de Roosevelt, alors qu’en revanche un magazine qui avait interrogé ses lecteurs sans cet échantillonnage et avec un beaucoup plus grand nombre de réponses, avait prédit la victoire de son adversaire républicain, à la suite de quoi ce magazine avait fait faillite !

Ce sont ces enquêtes d’opinion qui ont popularisé la méthode, au point que, aujourd’hui, le mot « sondage » est devenu pour beaucoup de gens synonyme d’« opinion » (à la veille d’une élection, certains journalistes parlent étrangement de « sondage en vraie grandeur »). Il y a là un glissement de sens, puisque ce mot désigne une manière de mesurer une grandeur, à partir d’un échantillon, puis une extrapolation de cette mesure à la population entière, quelle que soit la nature de la variable étudiée, le chômage ou les intentions de vote. L’histoire de la renaissance des sondages est en général ainsi racontée : du point de vue de la présence ou de l’absence de l’argument probabiliste, dans le langage de l’« outil de preuve », qui plaît au statisticien moderne.

Mais elle a un autre versant, du côté de l’histoire de l’État, dans le langage de l’« outil de coordination », qui intéresse le sociologue. La méthode de l’enquête sur échantillon, telle que celle de Laplace, avait été récusée, au XIX^e siècle, dans la foulée d’un rejet plus général des acrobaties des arithméticiens politiques du XVIII^e siècle. Ceux-ci étaient accusés de reconstituer, à coups de multiplicateurs habiles, une société ou une économie entières à partir de quelques informations fragmentaires, comme le paléontologue reconstitue un dinosaure à partir d’un tibia d’origine incertaine. Quand le célèbre statisticien belge Adolphe Quetelet commença à promouvoir les « bureaux officiels de statistique », vers 1830, de telles fantaisies n’étaient plus de mise. Il y allait du sérieux de l’État et de la science, ce qui faisait beaucoup. Seuls les recensements exhaustifs pouvaient asseoir la légitimité de la nouvelle « science ». Le calcul des probabilités lui-même, dans sa version subjectiviste, en termes de « degré de croyance », qui était encore celle de Laplace et de Thomas Bayes, sentait le soufre. Seule était tolérée, mais finalement peu utilisée, la version objectiviste promue par Quetelet et son « homme moyen ». On comprend dès lors la difficulté à réintroduire le raisonnement probabiliste au tournant du XX^e siècle.

En lisant l’intervention de Kiaer devant l’IIS en 1895, on devine ce qui rendit possible ce retour de la méthode des sondages : ce sont les débats autour des premières « lois sociales », esquisses du futur État-providence. Dès les premières lignes, Kiaer explique que son dénombrement représentatif a pour but d’« élucider diverses questions concernant le projet de création d’une caisse générale de retraite et d’assurance contre l’invalidité et la vieillesse ». Ainsi, la statistique qui, à partir de Quetelet, s’était détachée de l’État pour décrire (sous le nom de « statistique morale ») les régularités de la société dans son ensemble, revient vers un nouvel État, désormais « statistique », mais au prix d’un nouveau glissement du sens de ce mot, vers l’idée « stochastique », c’est-à-dire mettant en oeuvre le calcul des probabilités et la « loi des grands nombres ». Cette idée est à la fois celle de la nouvelle physique statistique de James Clerk Maxwell, et celle des assureurs, un autre acteur de l’histoire de la statistique resté jusqu’alors en dehors de la saga. Si, sur le plan cognitif, le modèle de l’urne de Bernoulli est essentiel au raisonnement probabiliste, il a aussi une traduction politique : les familles échantillonnées par la nouvelle méthode sont suffisamment comparables et « équivalentes » pour pouvoir être étudiées et mesurées toutes ensemble. Or, précisément, Kiaer insiste sur le fait suivant : « Alors que, auparavant, les investigations concernant les revenus, les habitations et autres conditions économiques et sociales, n’étaient pas étendues d’une manière analogue à toutes les classes de la société […], dorénavant, même en n’envisageant que la question ouvrière proprement dite, on doit comparer la situation économique, sociale, morale, des ouvriers à celles des classes moyennes et des classes riches. » De fait, les études statistiques sur les inégalités sociales selon les catégories socioprofessionnelles se développeront largement grâce aux enquêtes par sondage, mais beaucoup plus tard, à partir des années 1940. Ce développement sera alors concomitant de celui des diverses formes de redistribution de l’État-providence. En 1895, la formulation de Kiaer était très nouvelle. On ne saurait mieux exprimer l’hypothèse de comparabilité démocratique impliquée par l’État-providence, c’est-à-dire un État qui assure les mêmes droits sociaux à tous les citoyens. Or cette hypothèse ne pouvait être envisagée, au XIX^e siècle, par les réformateurs charitables qu’étaient des enquêteurs « monographiques » comme Villermé ou Le Play, dont les enquêtes portaient exclusivement sur les pauvres. Observateurs (bourgeois) et observés (pauvres) appartenaient alors à des planètes différentes, tandis que, à partir de Kiaer, puis plus tard de Neyman, tout le monde est rassemblé dans la même « urne », que ce soit celle de Bernoulli ou celle du suffrage universel.

Il ne suffisait donc pas que l’outil soit validé scientifiquement, sur son versant « outil de preuve », comme le fera Neyman en 1934. Il fallait aussi qu’il soit validé socialement, pour qu’il puisse jouer son rôle d’« outil de coordination », c’est-à-dire de langage commun accepté par tous les acteurs sociaux. On en a vu ci-dessus un exemple a contrario, avec les controverses récentes suscitées, aux États-Unis, par le projet du Census Bureau de corriger les sous-évaluations du recensement de la population par des méthodes de sondage probabiliste.

Le télescopage entre les questions de recensement des quartiers pauvres avec une lecture littérale de la Constitution de 1787 a fait ressurgir, dans le contexte des controverses politico-juridiques américaines, des objections contre la méthode des sondages, que l’on pouvait penser disparues depuis un siècle. À chaque étape de l’histoire, deux volets distincts de l’argument statistique sont ainsi combinés de façon particulière. L’un, scientifique est celui de l’outil de preuve, familier des statisticiens formés à l’école de Neyman. L’autre, politique, est celui de l’outil de coordination, qui intéresse le sociologue et le politologue. C’est bien pour cela que l’on ne peut séparer l’histoire des sciences et l’histoire de l’État, et c’est la combinaison de ces deux histoires qui en fournit le sel.