Carnet du petit Tom : Physique, biologie et évolution...

16 avril 2007

Sondages : le grand n'importe quoi de la dernière ligne droite



  • La frénésie sondagière est de plus en plus pathétique. Les commentaires journalistiques sont à l'avenant. En témoigne cette capture d'écran du figaro.fr (je sais, on m'a souvent déconseillé de lire le figaro, ce serait mauvais pour mon coeur), avec deux commentaires de sondages totalement contradictoires...


  • IPSOS a attendu mon dernier billet sur les sondages pour publier des résultats... encore plus absurdes. Ainsi, pendant 7 sondages consécutifs la semaine dernière, Sarkozy a été donné à un score fixe de 54% ! Toutes mes félicitations à IPSOS qui semble donc être capable de réduire la marge d'erreur à quasiment zéro ! J'ai refait rapidement mon étude du billet précédent sur les sondages, on bat tous les records : ma statistique d'écart entre les maxima/minima me donne une plausibilité de la série de sondages de l'ordre de 0.05 %, i.e. 99.95% des séries de 38 sondages consécutifs montent plus haut ou descendent plus bas que la série IPSOS. La raison pour cette brusque décroissance dans la plausibilité est une série de sondages où Sarkozy est placé à un score très haut (54%) et très stable. Si Sarkozy est effectivement à 54%, les sondages devraient flirter par moments avec 56, 57 %, or ils restent "scotchés" à 54.5% au maximum, soit une marge d'erreur de l'ordre de 0.5% au plus. Cela sent plus que jamais la manip. Pour la beauté du geste, je redessine ma bosse gaussienne, je vous rappelle que la hauteur de la bosse est proportionnelle à la probabilité d'apercevoir un couple "maxima-minima" dans une série de sondages, la flêche rouge indique le score d'IPSOS. La série de sondages d'IPSOS tombe dans une zone à très fabile probabilité. Petit point technique en passant : je me suis aperçu que pour éviter tous les artefacts de discrétisation dans mes simulations, il fallait prendre un nombre d'électeurs multiples de 200 pour des sondages évalués au demi-point près. La raison est que dans le cas contraire, comme le nombre d'électeurs est fini, certains résultats de sondages deviennent plus improbables (par exemple avec 100 électeurs, on ne peut évidemment pas trouver un score de 53.5%). C'est ce qui expliquait que mes gaussiennes n'étaient pas totalement symétriques dans mon billet précédent (mais rassurez-vous, cela ne change absolument rien à l'étude).
  • Toujours sur les sondages IPSOS, je me suis amusé à comparer "à l'oeil" des simulations de protocoles IPSOS (un sondage de 400 personnes par jour, moyenne sur 3 jours) avec des simulations de sondages indépendants. Je voulais comprendre si les sondages moyennés sur 3 jours étaient vraiment plus "lissés". Les sondages IPSOS réels sont en rouge, les sondages simulés moyennés sur 3 jours en bleu, les sondages indépendants en vert, la moyenne des sondages réels en bleu clair (53.5%). On voit toujours assez clairement qu'il y a quelque chose qui cloche dans la variabilité des sondages IPSOS. On voit aussi clairement que la courbe bleue n'est pas plus lisse que la courbe verte : elle fluctue autant et est simplement plus "corrélée" dans le temps (c'est rétrospectivement assez compréhensible). En revanche, on voit aussi que ce protocole de moyennage sur trois jours fausse pas mal la perception des choses : la marge d'erreur sur 400 personnes est assez grande, et quand on a une ou deux fluctuations assez grandes dans un sens, les fluctuations persistent assez longtemps dans le temps. Cela peut donc fausser complètement la perception tirée de ces sondages... Encore une fois, je ne sais pas comment IPSOS a concilié tous ses effets complètement délétères qui sont assez clairs dans les simulations numériques.
  • J'ai soumis un article récapitulatif de tous mes billets sur les sondages à Agoravox. On verra bien; avec la chance que j'ai dans mes soumissions d'articles en ce moment, j'ai toutes les chances d'être refusé ;)
Ajout 18 Avril : l'article a été publié sur Agoravox, suivez le lien .

6 commentaires:

Anonyme a dit…

Je pense que la réalité est encore pire que ce que cela. Vos simulations et calculs supposent un processus d'échantillonage classique. Dans le cas d'un sondage s'ajoutent des éléments qui viennent troubler le jeu: une partie des sondés potentiels refuse de répondre et une autre ne le fait pas sincèrement. Pour tenter de corriger ces biais, les sondeurs utlisent des coefficients de redressements établis en fonctions des expériences passées. C'est ainsi que le score de Le Pen est à peu près multiplié par deux par rapport aux données brut(de 7% à 14% par exemple). En théorie la variabilité de son score devrait donc être plus forte que celle des autres, et il se trouve que ce n'est pas le cas.

Anonyme a dit…

Merci pour cette excellente série de billets sur les sondages !
On est plus dans les statistiques en effet, et le terme "sondage" devrait de toute évidence être banni par les Instituts dans ce cas, et remplacé par "notre propre estimation basée entre autre sur des enquêtes" ;-) !

Tom Roud a dit…

@ anonym: votre commentaire me permet de rebondir sur un point que je n'avais pas abordé. Effectivement, ce devrait être encore pire pour le premier tour vu les fameux redressements. Mais pour le deuxième tout, quel besoin y a-t-il de faire des redressements ? Entre Sarko et Ségo, y a-t-il un vote honteux ? Bien sûr que non, et c'est pour cela que les sondages deuxième tour devraient être purement et simplement des données brutes...

@ yogi : merci des encouragments !

Anonyme a dit…

si agoravox ne marche pas et si tu n'as rien contre la gauche de la gauche, tu peux essayer sur "le monde citoyen"

tiens-nous au courant

Anonyme a dit…

Quand on voit le genre de "données brutes" sur lesquelles les sondeurs s'appuient, il semble en effet que ce soit plus de l'art que de la statistique, et demander des pourcentages d'incertitude semble bien vain ...

http://www.lemonde.fr/web/article/0,1-0@2-823448,36-899468@51-841384,0.html

Tom Roud a dit…

Oui, c'est vraiment stupéfiant, et cela montre bien qu'il y a un vrai problème méthodologique.