Carnet du petit Tom : Physique, biologie et évolution...

24 mars 2007

Leçons canadiennes sur les sondages gaulois

Plusieurs médias ont récemment tenté de discuter et de décrypter les méthodes derrière les sondages (notamment Arrêt sur Images, le 7/9.30 de France Inter...). Un aspect assez fascinant dans ces émissions est qu'en général, les animateurs invitent d'un côté des membres des instituts, des spécialistes de politiques et des médias, ceux ci étant "opposés" à des journalistes. Ainsi les sondeurs délivrent-ils leur bonne parole sans contradiction sur le fond de leur travail. Par exemple, les journalistes cherchent à comprendre les méthodes de redressement : mais, au-delà du fait qu'ils n'obtiennent pas de réponses précises, ne faudrait-il pas en contester le principe ? Malheureusement, il semble impossible de remettre scientifiquement en question la parole des instituts de sondages ou de critiquer leurs méthodes : n'y a-t-il donc aucun sociologue ou statisticien en France capable de nous parler des sondages et de leur validité scientifique ?

Heureusement, dans d'autres pays, les spécialistes indépendants des sondages ont pignon sur rue, et peuvent informer le grand public sur la qualité ou la pertinence des sondages. Claire Durand est l'une de ceux-là. Et dans un article intitulé 'The polls in the 2002 French election : an autopsy", elle se penche sur les sondages français (qu'elle autopsie, donc), et sur leurs méthodes. Et on en apprend effectivement de belles.

Je me permets de reproduire (et de traduire) certains extraits de son article. Si vous avez suivi les différentes émissions parlant des sondages, les sondeurs se sont souvent abrités derrière le secret professionnel pour éviter de donner leurs méthodes dans le détail. Première surprise pour le citoyen français que je suis, au détour de cette phrase :

Although the law requires that all the methodological information be made available to citizens, the researcher in charge of obtaining the information encountered many difficulties.


Bien que la loi exige que toutes les informations sur la méthodologie soient disponibles pour le citoyen, la chercheuse chargée de recueillir ces informations a rencontré de nombreuses difficultés.



Ainsi donc, j'apprends qu'en France existe une loi qui oblige les instituts de sondage à donner leurs méthodes. Où donc est la limite du secret professionnel ? Voilà un aspect que j'aurais aimé voir aborder dans les différentes émissions sur les sondages. Rassurons-nous, ce secret est bien protégé, vues les difficultés rencontrées par la chercheuse, dont voici un aperçu :



She was required to ask for an appointment and to specify in advance the files she wanted to consult. The personnel would not let her photocopy any document, so she had to write down the relevant information. Finally, she was informed that part of the information—the results obtained before adjustment—though required by law, would not be available unless the pollsters give their permission. We asked the pollsters for that permission, and we received a positive answer from one.


La chercheuse a dû demander un rendez-vous et préciser par avance les documents qu'elle souhaitait consulter. Le personnel ne l'a pas laissé faire de photocopies, si bien qu'elle a dû écrire à la main toutes les informations. Enfin, on l'a informé qu'une partie de l'information - les résultats obtenus avant ajustements- bien que devant être disponibles d'après la loi, ne pouvaient l'être sans la permission des instituts de sondage. Nous avons demandé aux instituts cette permission, et (seul?) l'un d'entre eux nous a donné son accord.


Je regrette de ne pas être en France pour aller chercher quelques données brutes à mon tour ! Résumons donc ce paragraphe édifiant : les instituts de sondage sont tenus par la loi de rendre publics à la fois leurs méthodes et les chiffres bruts avant redressement. La commission des sondages a manifestement tout fait pour mettre des bâtons dans les roues à cette chercheuse, exigeant un accord des instituts avant de livrer les seules informations valables : les chiffres bruts des sondages.


Toutefois, elle a pu finalement avoir quelques informations sur les fameuses méthodes de redressement. Voici un extrait de l'article à ce propos :


One pollster, who requested anonymity, explained in this way the process by which he decides on published estimates: "The statistician provides me with estimates according to different adjustments (...). I look at the different columns and at the published estimates for the last week in order to figure out the most likely figure. Say a candidate had 2 percent the previous week and has 4 percent in most adjustments that week, I will put him at 3 percent. If he still has 4 percent in the next poll, then I will put him at 4 percent."

Un sondeur, qui a demandé de conserver l'anonymat, explique ainsi la méthode employée pour traiter les données : "Le statisticien me livre des estimations après divers ajustements. Je regarde alors les différentes colonnes et les estimations publiées la semaine précédente afin de déterminer le chiffre le plus probable. Supposons qu'un candidat soit à 2 pour cent la semaine précédente, et 4 pour cents après estimations de cette semaine, je le mets alors à 3 pour cent. S'il a encore 4 pour cent au sondage suivant, je le mets alors à 4 pour cent.

Voilà en quelques phrases l'explication de nos fameuses courbes lissées et confirme mon hypothèse exprimée dans un billet précédent. Ces petites corrections n'ont l'air de rien à première vue, mais d'un point de vue scientifique, c'est clairement une hérésie. C'est en effet considérer toute variation a priori comme une fluctuation statistique. Or, on ne peut se débarrasser des fluctuations statistiques : comment alors les distinguer des évolutions ? Il faut donc potentiellement dans ce cas de figure au moins deux sondages pour avoir le bon résultat. Imaginons qu'une fluctuation statistique aille dans le mauvais sens après une évolution effective : il faudrait alors 3-4 sondages pour voir l'évolution réelle. Soit de 2 à 4 semaines de campagne. C'est donc à mon sens extrêmement grave de modifier ainsi les données brutes alors que les évolutions des sondages sont pile poil dans la marge d'erreur, car cela fausse complètement l'analyse des évolutions. Par ailleurs, ce genre de méthodes est-il neutre politiquement, traite-t-on tous les candidats de la même façon ? N'y a-t-il pas par construction un effet "prime au gagnant" ... des semaines précédentes ?

Jules de diner's room critiquait Schneidermann qui préconisait d'interdire purement et simplement les sondages, arguant notamment du fait qu'on a droit à l'information. Or, il apparaît que :
  • les données brutes, qui sont la véritable information, ne sont manifestement pas facilement accessibles alors qu'elles devraient l'être
  • par ailleurs, les sondeurs s'arrogent le droit (sous le contrôle de la commission des sondages) de décider ce qui constitue une information d'une fluctuation statistique, alors qu'ils n'ont aucun moyen de le faire.
Avec cela, rien d'étonnant à ce que 62 sondages parmi les 63 derniers aient donné Sarkozy gagnant. Mais est-ce une information ?

Je vois déjà les arguments de certains : et le vote Le Pen ? Car bien sûr, nous sommes tellement bien pensants, tellement intoxiqués (moi y compris) que nous y croyons à cette histoire : les gens mentent forcément au téléphone, tous confits de honte à voter Le Pen. Roland Cayrol nous expliquait donc sur le plateau de "Arrêt sur Images" il y a deux semaines, que, pour les confondre, il suffisait de leur poser des questions annexes. Comme exemple (que D. Schneidermann a dû se battre pour obtenir) il citait: "est-ce que vous êtes parfois en accord avec les thèses de M. Le Pen ?". Ainsi, les sondeurs auraient une méthode infaillible pour confondre les électeurs honteux du FN, qui sont bien sûr des menteurs. Mais ceci prouve qu'il n'y a pas de remise en cause de leur méthode d'échantillonnage. Et s'ils n'arrivaient tout simplement pas à interroger suffisamment d'électeurs FN ? A quoi serviraient alors ces questions annexes ? Du coup, on utilise un artifice pour améliorer le rendement d'un machine bien rouillée. Vous croiriez, vous, à la compétence d'un informaticien qui vous explique qu'il a un bug, et que donc il est obligé d'ajouter un autre bug pour corriger le précédent ? Car si j'en crois cet article de Durand et al., le problème est essentiellement un problème de la méthode des quotas, qui semble bien connu ... depuis au moins 15 ans ! Ainsi, lors des élections de 1992 au Royaume-Uni, les sondages, basés sur la méthode des quotas, se sont plantés lamentablement :


Though the British Election Panel Study arrived at a good reconstitution of the 1992 vote using a random sample, the reconstitutions by pollsters using quota samples differed substantially from the actual vote.


Bien que le "British Election Panel Study" permettait une bonne reconstitution des résultats de 1992 en utilisant un échantillonage aléatoire, les reconstitutions des instituts par la méthode des quotas différaient substantiellement des résultats observés.

Notez que la désormais fameuse méthode des quotas est dépassée sur cet exemple précis par une simple interrogation aléatoire. Dans la suite, on apprend même qu'on sait depuis 1995 qu'ajuster les résultats en fonction des élections précédentes (ce que CSA dit faire aujourd'hui pour redresser - Roland Cayrol ayant même déploré que ces têtes de linottes d'électeur oublient ce qu'ils ont voté à l'élection précédente - in "Arrêt sur Images" sur les sondages) peut même dégrader l'estimation. La difficulté est d'autant plus grande qu'on ne sait pas forcément en France quelle élection utiliser pour cette reconstitution.


Laissons la conclusion à Durand et al., ou plutôt à Jowell et al. :


One would be tempted to issue the same recommendation as Jowell et al.: "Our recommendation to pollsters and their clients, the mass media, is that they should invest in a program of methodological work as soon as possible. Sampling methods need to be improved, and the rather primitive methods of forecasting employed by the polls need to be supplemented by more sophisticated techniques that draw on the massive body of data about voting behavior and political attitudes that is freely available."




Nous serions tentés de suggérer comme Jowell et al. : " Notre recommandation pour les instituts et leurs clients, les mass-media, serait de rapidement se lancer dans un programme de travail méthodologique. Les méthodes d'échantillonage doivent être améliorées, et les méthodes de prédiction plutôt primitives utilisées par les sondeurs doivent être accompagnées de techniques plus sophistiquées se basant sur les masses de données à propos des habitudes de votes et des attitudes politiques librement disponibles".


Référence :
Durand, Blais & Larochelle, Public Opinion Quarterly 2004 68(4):602-622

Add 28 Mars: Sebastiao Correia indique sur son blog un lien vers l'article en question en accès libre.

7 commentaires:

PAC a dit…

Excellent article. C'est assez curieux que l'article du Public Opinion Quarterly n'ait pas fait plus de bruit.

Une autre idée serait d'autoriser les paris sur l'élection présidentielle en France. Ça permettrait d'avoir des prédicteurs plus fiables de l'élection et de recueillir ainsi une information de meilleure qualité sur les chances de gagner de chaque candidat. Dans les sondages, les individus n'ont en effet aucune incitation à dire la vérité et peuvent, s'ils n'ont pas encore réfléchi à leur vote de manière personnelle, adopter une attitude moutonnière consistant à se conformer aux derniers sondages. Sur un marché prédictif en revanche, les individus qui parient prennent un risque et sont donc incités à réfléchir sur les réelles chances de gagner de chaque candidat.

Anonyme a dit…

"par ailleurs, les sondeurs s'arrogent le droit (sous le contrôle de la commission des sondages) de décider ce qui constitue une information d'une fluctuation statistique, alors qu'ils n'ont aucun moyen de le faire."

Très interessant de voir que les "sondeurs" n'aient pas encore abandonné des pratiques auxquels les scientifiques ont renoncé grosso modo depuis la révolution française (depuis qu'on a théorisé l'erreur et qu'on s'est mis à la mesurer).


A propos de sondages, un sondage, lourdement commenté la semaine dernière dans tous les médias français et dont une des conclusions était que les hommes avaient en gros deux fois plus de rapports sexuels que les femmes.
A moins que la population homosexuelle ai été sur-représentée parmi les sondés, ou que l'écart entre le nombre de femmes et d'homme soit bien plus important que ce qu'il me semblait je crains qu'il n'y ai un problème... Et pourtant j'ai entendu des tonnes de spécialistes commenter ce résultat qui heurte mon sens commun, comme si de rien n'était...

Anonyme a dit…

Bon article !
Quelques remarques et liens :
http://www.acrimed.org/article2458.html
bon je sais, Acrimed en fait hurler certains. Cet
article a été écrit par Patrick Champagne, un sociologue qui a travaillé longtemps sur les sondages et sur ce qu'on appelle 'l'opinion publique'.
Donc oui, il y a des gens en France qui travaillent sur les sondages.
http://2007.tns-sofres.com/historique-election-presidentielle-2002.php#intentions
c'est l'historique des sondages SOFRES en 2002 pendant une longue période avant l'élection. Intéressant pour comparer aux sondages actuels et éventuellement faire des prospectives...

Une dernière remarque : les sondages peuvent aussi être précis comme par exemple le score du non et du oui au référendum en 2005.

PS : une remarque à PAC : merci pour ton commentaire tellement moderne et excellement adapté à la situation. L'incitation, ca c'est un concept orginal et peu développé de nos jours ! Moi je serais toi j'ecrirais un essai à partir de cette idée brillante. Parce qu'il est important que ce genre d'idees qu'on voit ou qu'on entend trop peu souvent puisse émerger dans le débat.

Tom Roud a dit…

@ PAC : un truc que je ne comprends pas dans ton raisonement est que si les gens font des paris, ils ont tout intérêt à parier sur ce que pense le français moyen. Or, aujourd'hui, le français moyen pense probablement que Sarkozy va gagner par exemple; donc on a des chances de trouver Sarkozy à 70% dans ces paris... Sinon on peut aussi essayer de parier sur la répartition des scores... mais rien ne dit que cela donne une bonne estimation.

@ t.w. : oui, moi aussi j'avais trouvé ce sondage bizarre. Pour la différence homme-femme, il me semble que les analystes disaient que les hommes "comptaient" les aventures d'un soir, au contraire des femmes, incorrigibles romantiques qui ne tenaient compte que des aventures importantes... y aurait-il une once de machisme derrière ce raisonnement ? Moi ce qui m'avait surpris le plus c'était des commentaires du genre : les femmes assument mieux leur homosexualité, puisqu'on était passé de 2 à 4 % de femmes ayant déclaré avoir des relations homosexuelles. D'une part, cela ne me paraissait pas hyper significatif, d'autre part, je trouve toujours étrange cette façon de regrouper sous une même bannière collective des comportements très différents (les femmes hétéro n'assument de fait pas mieux leur homosexualité ;) ). C'est comme lorsqu'il y a une élection très serrée et qu'on dit que les électeurs cherchent individuellement l'équilibre entre la droite et la gauche, alors que c'est un comportement collectif.

@ Christophe : merci pour le lien vers Acrimed. Sinon, les sondages peuvent sans aucun doute prédire les bons résultats... sauf lorsqu'ils se trompent ! Pour le TCE, peut-être est-ce dû au fait que le vote était moins un "vote de classe" qu'un vote aux élections présidentielles, j'ai le sentiment que les gens ont voté de façon plus homogène (même dans les catégories supérieures, beaucoup de gens ont voté non, n'est-ce pas ?)

Anonyme a dit…

excellent post et excellent article
moi j'adore le passage vers la fin ou les auteurs disent, grosso modo, qu'on a la la preuve que les sondages par quotas ne sont pas efficaces

Anonyme a dit…

Bonjour et merci de m'avoir signalé votre billet.

J'y trouve pour la première fois un témoignage direct de ce que je conjecturais dans mon billet de 2002 "les sondeurs se corrigent mutuellement et ce faisant s'auto-intoxiquent" : le lissage arrière des résultats.

Je suis d'accord avec tout, en particulier avec la nécessité de publier (ne serait-ce que sur le site de l'institut dans une rubrique technique) les "bruts" - ce qui me semble, écrivais-je en 2002, la seule contre-mesure efficace contre ce lissage arrière.

Deux nuances sur d'autres points du billet :

* Je trouve tout à fait acceptable le discours du sondeur politique pour lequel "le chiffre que je publie comme résultat du sondage est celui que je pense le plus probable", même s'il n'est pas capable de donner une explication mécanique du lien entre "brut" et "estimé".

* La critique contre les quotas peut être mal comprise ... Bien sûr, ce qui est mieux que des quotas, c'est du "vrai aléatoire" sur une liste exhaustive de la population, dont toutes les personnes tirées au hasard répondent. Mais si cela existe pour des sondages de statistique officielle, s'appuyant sur les listes de recensement, cela n'existe guère en pratique pour les sondages politiques - en tout cas pas dans la plupart des pays (j'ai pondu plusieurs commentaires à ce sujet sur le blog de Thierry Vedel).

QuBE a dit…

Salut Tom,
L'idee de PAC est en realite plus qu'une banale suggestion. La capacite des marches predictifs a fournir une probabilite des evenements futurs commence a etre bien etudiee. Des resultats theoriques montrent que les prix peuvent etre consideres comme des estimations sans biais des probabilites sous des hypotheses pas trop restrictives sur le comportement des traders/parieurs. Les resultats empiriques montrent que les marches predictifs sont globalement bien calibres et que les prix ne semblent pas systematiquement biaises.
Il y a deja des marches predictifs sur les elections francaises.
1) Newsfutures:
http://fr.newsfutures.com/election2007.html
2) Tradesports:
https://www.intrade.com/aav2/trading/tradingHTML.jsp?evID=64254&eventSelect=64254&updateList=true&showExpired=false