Carnet du petit Tom : Physique, biologie et évolution...

04 mai 2007

Dernière ligne droite sondagière

Avant, je soupçonnais juste les sondages de légèreté scientifique. Ce matin, je me pose sérieusement des questions. Tous les sondages donnent Sarkozy à plus de 54%. Un de ses scores les plus hauts. L'IFOP fait même un bon de 2.5 % (IFOP dont j'ai déjà expliqué que j'avais quelques réserves sur leurs résultats).

J'ai passé toute la campagne à expliquer comment il était évident que les sondages "lissaient" leurs courbes et rabotaient leurs marges d'erreur. Et tout d'un coup, à trois jours du vote, Sarkozy explose son score par le haut. Je suis sans aucun doute un peu partisan, mais je m'interroge.

Sur le fond, je suis très surpris que les sondages actuels soient capables de déterminer les reports de vote des électeurs de Bayrou, Le Pen, Laguiller. Prenons le cas de Le Pen. Il y a 10% d'électeurs de Le Pen, dans la réalité, comme je l'avais signalé il y a quelques jours, moins de 50 personnes par sondage votant Le Pen sont sondées. Si l'on en croit les scores actuels, environ 30 électeurs de Le Pen disent voter Sarkozy. Pas besoin de faire un dessin : la marge d'erreur sur ces reports est de quasiment 20 % ! Un basculement de 20% des voix d'un côté comme de l'autre des électeurs de Le Pen, l'extrême gauche ou de Bayrou ferait basculer le résultat du vote. Comment les sondeurs peuvent-ils faire des prédictions fiables ?

Nous verrons dimanche soir me direz-vous, mais le risque de prophétie auto-réalisatrice est grand. Un peu amer ce matin, je crois que je vais définitivement militer pour l'interdiction pure et simple des sondages.

Ajout 5 Mai : Et le dernier sondage IPSOS donne Sarkozy à 55%. C'est le plus haut score donné à Sarkozy depuis le début du baromètre quotidien. Ce n'est pas crédible de donner un tel chifffre juste à la fin de la campagne. D'autant plus que pour ce baromètre quotidien, IPSOS a changé sa méthodologie sur le dernier sondage en réalisant un sondage "classique" sur 922 personnes. Quelle rigueur scientifique !

12 commentaires:

Anonyme a dit…

Autant je te suis dans ta critique de la méthode de sondage, autant je ne vois pas trop en quoi cela annonce une prophétie auto-réalisatrice. Si NS est donné "largement" vainqueur, est-ce que ça ne va pas plutôt pousser l'électorat de SR à se mobiliser ? Et l'électorat de NS à rester chez lui ? Certes, on peut penser qu'il y a une part de "moutons de panurge" parmi les indécis, mais il doit aussi y avoir une part de votants qui ont "l'esprit de contradiction". Qui l'emporte quantitativement, je l'ignore, mais pour moi l'effet d'une hausse artificielle du chiffre de Sarkozy n'est pas forcément tranché...

Tom Roud a dit…

Pour la prophétie auto-réalisatrice, disons que les explications évolutionnistes de l'effet "Mouton de Parnurge" sont tellement pausibles (force d'adhésion du groupe), que cet effet doit forcément exister !

Fr. a dit…

"Comment les sondeurs peuvent-ils faire des prédictions fiables ?"

Facile, ils redressent sur les élections précédentes en estimant que les frontistes de 2007 se reporteront sur la droite comme ceux de 1995, par exemple.

C'est plein de bon sens mais ça marche assez mal sur des scrutins peu comparables (2002 fausse la donne).

Anonyme a dit…

Je me demande si, après le premier tour, les instituts de sondage (et IPSOS en particulier) se sont mis à corriger les données brutes du vote SR pour compenser leur sous-estimation quasi-systématique de ce vote (même méthode de redressement que pour le vote FN, quoi)...

Anonyme a dit…

un sondage interessant

http://195.140.140.36/~cccetudes/incoming/2e_tour/RESULTATS%20INTERPRETES%20COMPLEMENTS%20ET%20PRECISIONS%204%20mai%202007%2023h12.htm

tout d'abord parce qu'il va a contre-courant des autres :-)
ensuite parce qu'il donne les chiffres bruts (c'est rare)
enfin parce qu'il donne le nombre de personnes reellement contactees... allez, un chiffre, comme ca les yeux fermes... combien de personnes repondent aux sondeurs ? 2/3 ? 1/2 ? 1/3 ? 1/5 ?

Anonyme a dit…

enro > a propos de la prophetie auto-realisatrice, plusieurs elements.
1. l'attitude des journaliste envers les futurs puissants ou non. Pas les memes questions, pas le meme ton. Et donc des candidats mis dans des situations plus ou moins difficiles. Montres comme des perdants ou non.
2. les analyses qui sont faites d'un resultat annonce. "Sarkozy va gagner parce qu'il a plus d'assurance sur les sujets economiques". Si Royal etait annoncee gagnante, les MEMES commentateurs auraient dit la meme chose, ou alors auraient mis en avant d'autres qualites. Sur les indcis, cela fait beaucoup au moment du choix "ah oui, quand meme, l'economie / le social, c'est important et c'est elle / lui qui est le plus a l'aise la-dessus"
3. la demobilisation. Probablement pas de PS purs et durs, mais de tous ceux qui votent contre Sarkozy sans adherer a Royal (extr-gauche, gauche du PS, centre, etc) qui se disent "ah quoi bon me faire du mal en mettant ce bulletin dans l'urne, de toute facon c'est plie". (A ceux-la il faut rappeler qu'un Sarkozy a 50,5 ou a 58% n'aura pas le meme rapport de force)

QuBE a dit…

Salut Tom,
Tes precedent posts et l’article canadien semblent bien montrer que les sondeurs ont une marge de manoeuvre ou le pifometre entre en compte. A partir du moment ou le resultat n’est plus uniquement quantitatif et ou le jugement qualitatif des sondeurs entre en compte, on doit se poser la question suivante : dans quelle sens l’interet des sondeurs peut provoquer un biais.
Je ne partage pas du tout l’idee que les sondeurs sont biaises pour l’un ou l’autre des candidats. Les sondeurs ne sont pas payes par les candidats (en tout cas je pose ca comme hypothese raisonable). Ils sont avant tout payes par une multitude d’agent qui leur achetent leurs produits. Il y a une competition entre sondeurs et ceux-ci sont incite a apparaitre comme les plus precis. N’oublions pas que les sondages politiques sont le sommet de l’iceberg pour des compagnies qui font beaucoup d’etudes commerciales. Les sondages politiques sont donc un enjeux pour les sondeurs qui ne doivent pas s’y planter. L’interet des sondeurs est donc d’etre precis, pas biaise. La sanction des urnes est impitoyable et les sondeurs la craigne.
Si l’on pousse la reflexion plus loin on peut se dire que les personnes se rappellent plus les classements que les estimations des pourcentages. En particulier, dans le cas Royal-Sarkozy une fois le classement Sarko>Sego determine, ils ont interet en realite a minimiser la marge du vainqueur. S’ils predisent Sarko 52 et que Sarko gagne avec 55 on ne les critiquera pas trop alors que si Sego gagne avec 51 ils seront tres vivement critiques. Imagine s’ils predisent Sarko avec 55 et Sego passe avec 51. Quand je vois un sondage du second tour a 55% je me dis que les carottes sont vraiment cuites pour Sego car les sondeurs ont un interet a etre moderes dans leurs estimations. Les marches predictifs dont le papier suivant montrent qu’ils sous estiment le favoris sont d’ailleurs tres clairs : Sarko est a 97% de chance de victoire…
http://www.iq.harvard.edu/blog/sss/archives/2007/04/positive_politi.shtml#more
https://www.intrade.com/aav2/trading/tradingHTML.jsp?evID=64254&eventSelect=64254&updateList=true&showExpired=false
Lionel

Anonyme a dit…

Blop > Effectivement, en faisant intervenir une multitude d'agents (journalistes, commentateurs etc.) entre les sondeurs et les électeurs, on comprend mieux comment un tel sondage peut influer sur le vote... Merci !

dvanw a dit…

Mouais... Autant je trouve légitime de regarder de plus près les méthodes de travail des instituts de sondage, autant leur reprocher à la fois de se tromper (vous voyez bien que c'est pas scientifique !) et d'avoir raison (c'est une prophétie auto-réalisatrice) me semble quand même un peu limite...

Si tous les instituts ont donné quelques points de plus à NS au lendemain du débat, la faute à qui ?
Aux lieutenants du dit NS qui ont passé des coups de fil ?

Tom Roud a dit…

@ dvanw : il y a quand même une distinction temporelle à faire. Tu peux te tromper le jeudi pour influer sur les votes de dimanche. Imaginons que nous soyons collectivement très influençable, et qu'en fait nous votions exactement commme nous le prescrivent les sondages. Imaginons que sur une population à 50-50 jeudi, un sondage donne une estimation à 53-47. Ensuite, la population, influencée, vote dimanche à 53-47. Les sondages sont donc parfaitement corrects à la virgule près et crient "cocorico", et tout le monde est content, donc il faut s'en satisfaire ? Moi, c'est la méthode pour trouver le 53-47 à partir du 50-50 que je questionne.

Ainsi, pour le sondage au lendemain du débat, il y a une hausse du score de Sarkozy, jusque 55%. Au final, le score est de 53%, qui était à peu près son score d'avant le débat dans les sondages.

Maintenant, c'était peut-être un résultat "brut" : mais pendant toute la campagne, les résultats bruts ont été manifestement "redressés". Donc, si c'est un résultat brut, il y a volonté délibérée de ne pas le redresser jeudi. Pas besoin de coups de fil de ministres : l'auto-censure, la flatterie, le biais inconscient suffisent bien à mon avis...

Si c'est un résultat redressé comme tous les autres, c'est encore pire, car cela signifie qu'il y avait un biais d'environ deux points dans la méthode de redressement. Donc quand Sarkozy était à 52, 53 (quasiment toute la campagne), en fait il aurait été vers 50-51. Disons que je pense que cela aurait changé certaines perspectives politiques et certains commentaires, voire certains votes.

Donc, c'est vrai que je ne suis pas forcément clair dans ma critique. Je ne reproche pas aux sondages "de se tromper" : au final Sarkozy fait 53% qui est dans la fourchette prévue par les sondages. Mais il y a des bizarreries statistiques dans les sondages qui ne sont pas consistants avec ce qu'ils disent eux-mêmes de leurs méthodes; c'est juste un fait. Et le fait que des sondages manifestement trafiquotés au cours du temps donnent le bon résultat pose vraiment la question de l'influence de ceux-ci.

dvanw a dit…

Depuis fevrier, Sarkozy est donné entre 52 et 55 (cf. http://fr.wikipedia.org/wiki/Sondages_sur_l'%C3%A9lection_pr%C3%A9sidentielle_fran%C3%A7aise_de_2007)

Mais on sait que les sondages mesurent mieux la dynamique que le niveau réel... Donc quand tout le monde observe un sursaut de 1 ou 2 points de Sarkozy au lendemain du débat, à mon avis c'est pas un hasard... Biais inconscient, je veux bien, mais ça suppose que tous les sondeurs soient de droite ?

Sondons les sondeurs pour avoir le fin mot de l'histoire !

Tom Roud a dit…

"Donc quand tout le monde observe un sursaut de 1 ou 2 points de Sarkozy au lendemain du débat, à mon avis c'est pas un hasard... Biais inconscient, je veux bien, mais ça suppose que tous les sondeurs soient de droite ?"

Pas forcément les sondeurs échangent et se surveillent les uns les autres, ils ont tous intérêt à donner (plus ou moins) le même resultat, il peut y avoir un effet d'entraînement collectif. Sans parler des méthodes de redressement au doigt mouillé : compte-tenu des commentaires après le débat, les sondeurs ont peut-être inconsciemment "cru" à la théorie comme quoi Sarkozy avait été meilleur et étaient donc plus enclin inconsciemment à lisser "par le haut".

L'autre solution est que la hausse ait réellement lieu et ait été correctement mesurée, mais dans ce cas il y a vraiment une question encore plus grave de crédibilité de tous les sondages pendant la campagne qui auraient donc collectivement surévalué Sarkozy de deux points.