Carnet du petit Tom : Physique, biologie et évolution...

16 février 2007

Sondages et marges d'erreur


Avouons-le : si nous essayons de ne pas y croire, nombreux sont ceux qui suivent avec attention les sondages. Les uns sont grisés quand un candidat atteint des sommets, les autres vont nous sortir la fameuse marge d'erreur pour essayer de discuter les sondages. Tiens tiens, une marge d'erreur... Mais bien sûr, mon sang de physicien ne fait qu'un tour : si tout sondage, tout échantillon statistique comporte bien une marge d'erreur, celle-ci est intrinsèque à la mesure. Il est impossible de faire des statistiques vraiment fiables sur des petits nombres : si on fait deux fois la même mesure sur le même ensemble (la même photographie comme disent les sondeurs), il est relativement peu probable de trouver deux fois le même résultat à cause de cette marge d'erreur intrinsèque.

Or que se passe-t-il lorsqu'on compare les différents sondages ? Les échantillons réduisent comme peau de chagrin : un sondage récent concernait 870 personnes, dont seulement 678 exprimaient un vote au second tour. La marge d'erreur est de l'ordre de 1 sur la racine carrée de l'échantillon : on frise donc dans la plupart des sondages au second tour les 4% d'erreur. D'un sondage à l'autre, on devrait donc voir une danse des courbes "explorant" ces 4% d'erreurs. De fait, je me suis amusé à faire quelques petites simulations par ordinateur, en considérant 678 électeurs, votant au hasard soit entre Ségo, soit entre Sarko (et arrondissant à l'entier le plus proche (1) pour Sarko, déduisant par différence le score de Ségo, par ailleurs je n'ai pris qu'une seule série de nombres aléatoires pour mes sondages). Les simulations sont dans la figure, avec les cotes associées (j'ai pris Sarko gagnant à tous les coups puisque lui-même pense qu'il a déjà gagné). J'ai sondé mes électeurs 20 fois de suite. On voit clairement que les intentions de votes fluctuent énormément et s'inversent plusieurs fois : même à 51-49, Ségo atteint 53 par moments, à 53-47, on arrive à 50-50, mais on a aussi une pointe à 56 pour Sarko ! La courbe indexée "Réel" représente l'évolution des enquêtes depuis le fameux discours de Sarko (j'ai trouvé 12 sondages consécutifs où il était gagnant, mais il paraît qu'on est pas loin de 20 maintenant, source : sondages 2007). Or on voit à l'oeil nu que les courbes varient extrêmement peu d'un sondage à l'autre : on a même 4 sondages consécutifs avec à peu près le même score, ce qui n'arrive jamais dans les simulations aléatoires (une fois 3 fois le même score pour 53-47). Les sondeurs me diraient qu'ils ont une façon de corriger, pour lisser les courbes. C'est tout bonnement impossible : encore une fois, l'erreur est intrinsèque au processus même de la mesure ! (sinon, j'engage les sondeurs à immédiatement soumettre leur technique à Nature, cela peut intéresser pas mal de monde). A dire vrai, j'ai l'impression que la fameuse méthode des quotas ne peut même qu'amplifier ces erreurs (puisqu'on échantillonne par tranche sur des populations encore plus petites, et donc je ne vois pas comment les erreurs sur une population peuvent compenser celles faites sur une autre population puisque celles-ci sont différentes).


Histoire de quantifier un peu plus tout cela, j'ai fait travailler ma cellule de sondage virtuelle d'arrache-pied pour lui faire faire 100000 sondages sur ma population à 52% sarkozyste. La courbe ci-contre donne le pourcentage de sondages donnant un résultat donné (on retrouve évidemment une gaussienne). On voit très clairement qu'à peine 20% des sondages donnent le "bon" résultat, qu'au contraire 40% des sondages se trompent de plus de deux points, et 20% donnent Sarko à 50% ou moins. Cela relativise considérablement les disours du genre "Ségo s'écroule" quand elle perd 1 point par rapport au sondage précédent. De plus, on voit que dans une période où l' opinion est à 52-48, 1 sondage sur 5 donne carrément le mauvais résultat, tandis qu'un autre sondage sur 5 donne une victoire à plates-coutures du bon candidat. Le tout au même moment, sur le même échantillon, je vous le rappelle ! Evidemment, cela ferait désordre si les Instituts de sondages donnaient des résultats si contradictoires...
Pour conclure, il me semble que la multiplication des sondages actuellement est potentiellement très mauvaise pour les instituts, car comme ils donnent tous les mêmes résultats à un point (deux ?) près, cela révèle sans ambiguité à mon avis qu'ils sont complètement truqués !



(1) et pas la partie entière comme je l'avais fait pour la première version de ce billet

31 commentaires:

Matthieu a dit…

billet excellent, sauf la fin : les instituts de sondage ne donnent pas exactement les memes resultats, disons qu'ils tombent dans l'écart-type :-) Cela permet par exemple d'avoir un "ségo s'écroule" quand elle passe de 48 a 47 chez un institut, alors qu'elle était a 45 chez les autres.

bref, de la merde, mais qui influence...

blop a dit…

Matthieu > billet excellent en effet mais qui demontre justement que non, les resultats ne tombent pas dans l'ecart-type

borneo a dit…

C'est ce qui est tout a fait extraordinaire. L'information se fonde sur l'erreur. La vérité est dans le puits !

En second lieu, outre la manipulation que vous dénonciez, la date de publication qui permet de placer des commentaires en fonction d'un événement non connu des sondés. Et puis il y a les manips a grosses ficelles. Celles ou le sondeur n'hésite pas à mettre la main dans le combouis.

Ainsi de ce sondage qui montrait à la fois une hausse de Nicolas Sarkosy (de 32 à 35%) et de Le Pen (de 10 à 16%). Sachant que traditionnellement un électeur qui vote pour les extrémes le confie plus difficilement à un enquéteur, de surcroit s'il s'agit d'un électeur du Front national face à un enquéteur de "couleur", et que chaque institut dispose de son propre algorithme de correction (non publié celui-là) de cette sous représentation, on peut constater au fil des publications des intentions de vote totalement erratique en faveur de l'extréme droite ou de l'extréme gauche. La marge d'erreur est ici de 4 à 6 points.

alexandre delaigue a dit…

Excellent billet. Au passage, une précision : beaucoup de commentateurs, en citant la marge d'erreur, ont tendance à la présenter comme si chaque intervalle inclus dans la marge d'erreur était également probable. Par exemple, face à un sondage donnant A : 47-B : 53 avec 4 points de marge d'erreur, on dira "comme il y a marge d'erreur, cela veut dire qu'il est possible que A gagne avec 51%". C'est oublier, comme le montrent les graphiques de tom, que la marge d'erreur est distribuée selon une loi normale, ce qui veut dire que les valeurs proches des bornes de l'intervalle sont nettement moins probables que les valeurs proches de son centre.

pipeau a dit…

J'ai l'impression que la définition d'"ensemble représentatif" pour les instituts de sondage n'est pas la même que celle de Tom. En effet, il y a une large part de la population qui ne change jamais d'avis, il y donc tout à fait inutile de leur demander à chaque sondage leur opinion... Il suffit de se concentrer sur les personnes plutot indécises. Il semble alors clair que le métier de ces instituts consiste à trouver ces personnes. Il doivent avoir des modèles pour la dynamique de l'opinion (modèles similaires à ceux de Serge Galam?) qui leur permettent de connaitre à chaque instant les intentions de vote sans avoir à tout rééchantillonner.
Qu'en pensez vous?

OSC a dit…

En sondage deux possibilités existent : utiliser un panel représentatif (= méthode des quotas) ou sélectionner aléatoirement un petit millier de personnes (d'après la loi des grands nombres).
A première vue la première solution serait la plus réaliste, mais elle pose au moins deux problèmes : 1) elle est coûteuse à mettre en oeuvre 2) les panels doivent être rafraichis fréquemment : si on demande leur avis toujours aux mêmes, un phénomène de lassitude et d'habitude risque d'apparaître, biaisant totalement les résultats.
Les sondages les plus efficaces restent donc ceux utilisant les méthodes aléatoires -- au moins pour la question de la sélection de la population.

Anonyme a dit…

Bonjour,
Que pensez vous des chiffres donnés sur le site de Expression Publique.com ? Le panel des différents sondages n'est pas "scientifiques" mais le nombre de participants amène une question : lorsque 3, 4 ,5000 internautes voire plus se prononcent peut on en tirer sérieusement un enseignement qui aurait la même valeur ou non valeur des sondages ou pseudo sondages que vous analysez ? J'ai remarqué parfois un décalage très important entre les résultats d'organismes "officiels" et cette température quelque peu aléatoire portant toutefois sur un nombre conséquent. Merci de répondre à cette question si vous le pouvez.

dvanw a dit…

Tout à fait d'accord sur le fond. Avec cette nuance que les instituts de sondages ne prétendent pas le contraire. C'est pas la marge d'erreur qui ait les gros titres, mais personne ne nie son existence, si ?

Et pis y a détail que je saisis pas bien : comment la marge d'erreur peut-elle être seulement proportionnelle (inversement) à la taille de l'échantillon, sans faire intervenir la taille de la population elle-même ? Est-ce qu'un sondage sur 678 personnes concernant une population de 1000 ne serait pas plus fiable que le même concernant une population de 60 millions ?

PAC a dit…

Je trouve cet article très intéressant, mais je ne suis pas d'accord avec la conclusion qui consiste à dire que les instituts de sondages mentent. On n'a pas tellement d'éléments tangibles qui permettent d'affirmer cela.

Par ailleurs, sur sondage 2007 http://sondages2007.over-blog.com/article-5474871.html, Thomas avait justement publié un article qui expliquait que dans la méthode des quotas, la marge d'erreur n'était pas définie. Je n'ai pas vérifiée cet info par moi-même, mais c'est un point qu'il faudrait regarder.

Enfin, troisième point, il est vrai qu'on pourrait fortement améliorer les sondages et relativiser leurs résultats en donnant des informations plus fines telles que le pourcentage d'indécis. Par exemple, Pierre avait récemment exposé sur son blog un sondage http://libertesreelles.free.fr/spip.php?breve15 explicitant les hésitations des électeurs.

Tom Roud a dit…

Merci pour vos commentaires positifs.

@ blop et Matthieu : je rejoins blop; les sondages n'ont pas l'air de tomber dans l'écart-type (enfin ils ont l'air de tomber tous dans un intervalle trop petit plus exactement). Un autre truc qui me surprend (?) beaucoup est que les sondages d'un jour à l'autre ont l'air de suivre des tendances lissées (par les instituts ?) : clairement, depuis un mois et demi, Sarko grimpe de façon quasi-monotone d'un sondage à l'autre. C'est totalement absurde, il devrait y avoir beaucoup plus de mouvements, des gros décrochages, des montées très soudaines (voir sur ma courbe 53-47 par exemple)

@ alexandre : merci pour la précision (et la pub ;)

@ pipeau : je suis d'accord avec toi, c'est tout à fait possible qu'il y ait effectivement ce genre de méthodes d'échantillonage complètement foireuses.

@ osc : je suis d'accord que la méthode des quotas devrait donner des résultats beaucoup moins pertinents que l'échantillonnage aléatoire. La dispersion des résultats théoriques de la méthode aléatoire montrée dans ce billet justifie mon sentiment de bidonnage et de doigt mouillé.

@ anonyme : vous avez raison, lorsqu'il y a 3000 à 4000 personnes, la marge d'erreur est plus petite (à peu près 1.5 %). Le seul problème est qu'on ne peut pas vraiment dire que l'ensemble des internautes ayant une connexion ADSL et allant voter sur expression publique soit un échantillon pertinent. Internet n'est absolument pas représentatif de la population : regardez par exemple la proportion délirante d'avocats, d'économistes, de journalistes ou de sympathisants UDF sur la blogosphère...

@ dvanw : je ne nie pas que certains sondages donnent un résultat pertinent. En revanche, c'est anormal qu'ils donnent tous le même résultat : au moins 40% des sondages devraient se tromper lourdement. Pour mon calcul de marge d'erreur, la dispersion typique d'une mesure sur un échantillon aléatoire est en racine de N; pour avoir le pourcentage correspondant, je divise par N, ce qui me donne l'inverse de racine de N.

@ Pac
"Thomas avait justement publié un article qui expliquait que dans la méthode des quotas, la marge d'erreur n'était pas définie. Je n'ai pas vérifiée cet info par moi-même, mais c'est un point qu'il faudrait regarder."
Comme l'a si bien dit un commentateur chez Thomas en question, ce n'est pas parce qu'on ne sait pas la mesurer qu'elle n'existe pas - en outre je ne vois pas très bien pourquoi on ne peut pas la mesurer (c'est normalement un simple échantillonage aléatoire sur une population donnée). Par ailleurs, comme je l'explique dans l'article, toute mesure sans exception a une marge d'erreur intrinsèque, et de plus les erreurs de la méthode des quotas ne peuvent probablement pas se compenser par principe, puisque les populations sont considérées différentes et sont toutes petites. Enfin, sur le dernier point, j'ai été moi aussi assez surpris du petit échantillon de votes exprimés au second tour : quand 22% des électeurs ne se prononcent pas, un sondage deuxième tour donnant 53-47 a un sens limité.

Matthieu a dit…

Je pense que Dvanw faisait référence à deux populations, la population des N1 sondés, et celle des N2 personnes constituants la population totale. est ce qu'augmenter fortement N2 change la pertinence du sondage sur N1 personnes ?

Tom Roud a dit…

@ matthieu et dvanw : désolé, j'avais effectivement mal compris. Voilà ce que j'ai fait exactement : j'ai pris une population de 678 personnes (qui représente typiquement le nombre de personnes qui se prononcent lors d'un sondage), et j'ai fait voter ces électeurs avec une proba de 52-48 pour Sarko ou Ségo. Donc, ici, la population totale n'intervient pas : en fait, mon hypothèse est sur le fait qu'un électeur lambda a 52 % de chances de voter pour l'un ou l'autre, la taille de la population n'a rien à voir. J'espère que c'est plus clair...

blop a dit…

tom, matthieu, dvanw: sqrt(N1) est une bonne approximation si N1 est beaucoup plus petit que N2 (ce qui est le cas ici), et ce quelque soit N2 (100000, 1000000, 10000000 ca ne change pas). Mais il est clair que si le nombre total de votant est 672 et le nombre de sondes 672, alors la marge d'erreur est nulle.

pac: les indecis, certainement viennent encore fragiliser les sondages. Il faudrait distinguer ici erreur statistique (l'erreur intrinseque de Tom) et erreur systematique (due a la methode : les indecis, l'echantillonnage, ceux qui refusent de repondre, etc). Mais sortir des chiffres comme "6% des sondes qui se declarent pour Le Pen pourraient changer d'avis pour Royal" est ridicule, parce que 6% de 10%, ca vaut dire 0,6% de l'echantillon initial (parmis ceux qui ont bien voulu repondre...)

david a dit…

personnellement, je ne comprends pas du tout pourquoi la marge d'erreur est en racine carree du nombre d'echantillons. Je croyais que lorsque l'on donnait un sondage avec une marge d'erreur, il s'agissait d'intervales de confiance et de p-value ?

Tom Roud a dit…

@ david :
tout cela vient de la loi des grands nombres et du théorème de la limite centrale . Ce théorème te dit pourquoi et comment une somme de lois aléatoires indépendantes converge vers une gaussienne. Pour l'erreur en racine de N, il faut rentrer un peu dans le détail, mais tu sais peut-être que lorsqu'on fait une somme de variable aléatoire indépendante, la moyenne est la somme des moyennes, mais la variance aussi est la somme des variances (cela se démontre assez facilement). Du coup, pour N variable aléatoires indépendantes X_i identiquement distribués, Moy (Sum X_i)=N Moy(X), et Var (Sum X_i)=N Var(X). Mais la marge d'erreur n'est pas la variance, mais l'écart-type qui est la racine carrée de la variance, d'où le racine carrée. C'est cela qui te donne la "largeur" de la gaussienne, et te permet donc d'estimer la distribution de résultats que devraient te donner les sondages.

Anonyme a dit…

J ai eu une fois une demonstration du fait que l erreur sur la methode des quotas est forcement inferieure a l erreur sans prendre d echantillons representatifs...

Sinon, j aimerais ton avis sur une chose: si on considère des tirages sur une population de 40M votants dont la moitié votent blanc ou nul, et l'autre moitié aléatoirement, quel sera un score "probable" pour les candidats ? (i.e., si les candidats font 49-51, est ce qu on pourra dire que tout se serait passé comme si les gens votaient au hazard?

Sinon, c est sur, la dictature Sarkoziste ne passera pas.

A+

Goneri

david a dit…

(decidement, je suis vraiment neu neu avec ces commentaires, j'espere qu'il y aura pas de doublon)

@tom roud

Je connais la loi des grands nombres et le theoreme de la limite centrale. Ce que je ne comprends pas, c'est pourquoi on peut l'appliquer a un relativement petit echantillon (quelques centaines d'individus). En fait, si je comprends bien ton raisonnement, la marge d'erreur est la deviation standard correspondant a un estimateur distribuee comme une gaussienne. Est-ce vraiment la methode utilisee dans les sondages ?J'ai verifie ce que je disais vaguement dans mon post precedent, et un de mes bouquins d'intro de stats ("all of statistics" par Wasserman) donne l'exemple suivant pour un sondage (traducation a la louche):

"83 % des sondes sont favorables au port d'arme des pilotes de ligne, le sondage est precis a 4 points 95 % du temps, ce qui veut dire en stats: 83+-4 est l'intervalle de confiance avec une p-value de 0.95. "

Si c'est bien comme ca que ca marche, alors il faut pas mal d'hypotheses pour construire l'intervalle de confiance, entre autre sur la maniere dont on "sample" les sondes parmi la population.

Je precise que bien que maniant les stats dans mon propre domaine de recherche, je ne maitrise pas du tout ce qui concerne les sondages , ton post eveille surtout ma curiosite. Un article wikipedia a l'air bien fait sur ce sujet:

http://en.wikipedia.org/wiki/Error_margin

Entre autre, on y introduit le concept de "simple random sampling", que je ne connaissais pas (different du "random sampling"), et qui a l'air fondamental pour l'approximation gaussienne de la distribution de l'erreur. Utiliser des quota va completement a l'encontre de ca, d'ailleurs.

Benjamin a dit…

merci pour ce billet mais j'ai tendance à être d'accord avec David. Le discours des sondeurs est justement que la méthode des quotas permet de radicalement diminuer la marge d'erreur des sondages. En outre le fait que les sondages réalisés par différents instituts soient très proches aurait tendance à me réconforter dans la qualité de leur méthode. Considérer qu'ils sont tous "truqués" (par qui ? comment ? pourquoi ?) juste parcequ'ils diffèrent de ce que tu trouves est un peu gonflé non ?? A ta place, je me poserais plutôt des questions sur mes résultats... Je considère toujours que ces sondages sont relativement fiable pour qu'ils représentent bien une image de l'opinion à un instant donné. Maintenant il est clair qu'aller discuter des variations de +/- 1% sur des colonnes entières comme le font pas mal de journaux est ridicule...

david a dit…

@ Benjamin

Je precise que je questionne seulement, je me considere vraiment pas bien place pour comprendre les tenants et aboutissants du sujet. Je pense cependant que c'est un peu plus complique que ce qui est donne ici.

Il y a clairement quelque chose de bizarre dans les sondages et leur utilisation: pourquoi les sondages au lendemain du discours de Royal diminuent comme par hasard, et on en tire des conclusions (du moins ceux dont on a parle) ? Les quota et les regles de "lissage" (typiquement, modifier les resultats parce que les votes FN sont toujours sous evalues), la aussi, ca change completement la donne au niveau echantillonage, et a ma connaissance, c'est pas publie comme information)

Sans rentrer dans de fumeuses theories de complot, il me semble avant tout que la encore, le travail des journalistes n'est pas fait. En fait, la ou je pense que l'on est tous d'accord, c'est que parler de tendances lorsque les variations sont inferieures aux marges d'erreur inherentes a la methode. C'est ce qu'un des auteurs du blog des econoclastes appelait discussion sur le bruit statistique, en parlant d'un article de l'ineffable Le Boucher. Je crois que c'est la ou le bat blesse.

Benjamin a dit…

Je pense qu'on est d'accord David. Je ne suis moi non plus pas en mesure, vu mes connaissance en stats d'apporter grand chose au débat mais il me semble que la réalité est plus compliquée que le modèle décrit par Tom et qu'il me parait un peu rapide de rejeter en bloc la méthode des sondeurs juste car ils ne sont pas cohérents avec les résultats des simulations. Je pense que l'ifop, le CSA etc... ont développé de façon empirique une méthode d'échantillonnage qui est relativement fiable. Contrairement à ce qu'il est souvent avancé les instituts de sondage ne se sont trompés que très rarement et le second tour le pen chirac de 2002 aurait pu être prédit en prenant en compte la dynamique des votes (Le pen qui monte, Jospin qui chute) et une barre d'erreur de 1 ou 2 %. Encore une fois, dire que Royal décroche quand elle baisse de 2 % est stupide en revanche considérer que l'inversion de tendance observée depuis 1 mois et demi en faveur de Sarkozy n'est pas réel l'est tout autant. Plus généralement, je suis gêné de voir partout les sondeurs remis en cause. Cela va souvent de paire avec une critique des intellos, des experts, des medias et de la "france d'en haut" en général qui m'exaspère. Je pense que ces instituts ont mis en place des méthodes aussi rigoureuse que possible et qu'une armée de statisticiens chevronnés sont derrière ces chiffres. Les balayer d'un revers de main n'est pas faire honneur à leur démarche que je pense rationnelle.

Enro a dit…

Benjamin > En effet, c'est pas faux. Ceci dit, les instituts de sondage ne sont pas l'INSEE ou "un service public du sondage d'opinion" : ils ont des produits à vendre (aux médias mais aussi aux partis), une légitimité à tenir et sans doute aussi un discours clair à privilégier sur une méthode crypto-scientifique. Quand on réalise notamment que Stéphane Rozès, directeur de CSA Opinion, est appelé dans tous les médias pour faire l'analyse politique de ses propres sondages (qui ne sont que des chiffres), ou que Laurence Parisot dirige le MEDEF et l'IFOP, on se dit qu'on a bien affaire là à des machines de guerre. Dès lors, s'il ne faut être exagérément soupçonneux, on ne peut pas non plus rester naïfs !

Benjamin a dit…

@ enro : certes ces organismes ne sont pas publics et il est vrai que cela m'énerve de voir Rozès commenter la vie publique. Cependant, ces instituts n'ont aucun intérêt à truquer les sondages de façon éhontée pour satisfaire tel ou tel car leur crédibilité se joue sur l'adéquation entre leurs prédictions et le résultat final. Je ne dis pas qu'il faille prendre ce qu'ils disent comme parole d'évangile, je pense juste qu'ils se servent de techniques plus ou moins éprouvées et ayant un fondement scientique. Dire que c'est n'importe quoi ou comme je le lisais récemment que c'est "comme la graphologie" est je pense exagéré.

Enro a dit…

Benjamin > Bien-sûr qu'on ne parle pas de trucages ou de mensonges mais plutôt d'ajustements, de partis-pris de méthode, de réglages tacites sur les autres instituts... En effet, si "leur crédibilité se joue sur l'adéquation entre leurs prédictions et le résultat final", elle se joue aussi sur la ressemblance avec ce qu'annonce le voisin ! Mais ce ne sont là que supputations, honte sur moi...

Tom Roud a dit…

Desole de tarder a repondre, j'ai aquelques difficultes avec internet.
Je vais donc essayer d'etre concis :
@ Benjamin : attention - je ne considere pas que les sondages sont tous truques. Je dis simplement que la comparaison des resultats entre sondages n'est pas compatible avec la marge d'erreur intrinseque au procede derriere les sondages. Donc que certains resultats sont "arranges" ( ou plus exactement je pense que les sondeurs s'echangent par exemple leurs donnees pour diminuer cette fameuse marge d'erreur, donc que les sondages au temps t ne representent pas l'opinion au temps t contrairement a ce qu'ils disent, mais l'opinion sur le dernier mois - je pense d'ailleurs que les "fameux" retournements d'opinion observes reguilerement pendant les elections ne sont qu'un artefact de ces methodes qui sont basees sur des projections). En fait, j'envisage de refaire un billet bientot sur le sujet avec des donnees plus precises, pour confirmer ou infirmer mon hypothese, mais il faut que j'extraie les donnees a la main depuis les sondages ( en fait je veux etudier l'evolution d'un sous-quota, typiquement les personnes agees ou theoriquement cela devrait etre encore plus frlagrant vu que la population est plus petite, on devrait avoir une marge de l'ordre de 10%). Je pense en fait que les sondages ne font simplement pas ce qu'ils disent : ils ne representant pas une photo instantanee, mais plus une moyenne sur les derniers jours/semaines.
Sinon, tu m'interpelles sur le mouvement anti-scientifiques :
- d'abord, il me semble qu'il y a confusion des genres entre sciences et politiques. Stephane Rozes, Laurence Parisot, ils sont docteurs en statistiques, ou sont-ils avant tout des specialistes de la politique et du management ?
- je pense aussi que les scientifiques doivent etre honnetes, surtout quand on voit comment ces sondages influencent l'opinion. Etre honnete, cela signifie reconnaitre dans les faits que la science n'est pas toute puissante. Les sondeurs eux memes reconnaissent une marge d'erreur de 3% (qui est exactement la marge d'erreur calculee avec l'approximation que je fais ici sur une population de 1000 personnes... donc ca me parait un peu fort de cafe de m'accuser implicitement de faire des modeles trop simples): or les resultats compares des sondages ne me semblent pas compatibles avec cette marge d'erreur, puisque la gaussienne que je montre dans le billet indique clairement qu'il devrait y avoir des sondages beaucoup plus tangents. Donc, si les sondages donnent le bon resultat a tous les coups, c'est que la marge d'erreur est plus petite. Qu'on m'explique comment, qu'on m'explique comment c'est compatible avec la methode des quotas, ou on m'explique successivement que soit la marge d'erreur est incalculable, soit encore plus grande. Cela ne me parait tout simplement pas possible : tu ne peux pas diminuer une marge d'erreur globale en sous echantillonnant ton ensemble de depart, c'est l'effet inverse de la loi des grand nombres. D'ou mon idee de regarder les sous quotas : en fonction du resultat, je te dirai mon sentiment definitif.

@ David : je n'ai plus le temps de detailler mais si j'ai cite la loi des grands nombres, c'est qu'elle te donne aussi une information sur la maniere dont on converge vers la gaussienne et la nature de la gaussienne limite. Le 4% que tu donnes depend justement de la taille de l'echantillon. Je te repondrai plus en detail des que j'aurai le temps...

filaplomb a dit…

Sans même aborder le risible cas des compensations à la louche sur le Front National.
En clair, ils sont incapable même de mesurer l'opinion ! :-))

Anonyme a dit…

Sur la méthode des quotas et sa marge d'erreur, le mieux c'est de demander aux sondeurs:

http://www.ipsos.fr/CanalIpsos/cnl_static_content.asp?rubId=35#02
L’inconvénient majeur de la méthode des quotas est de ne pas permettre de calculer scientifiquement la marge d’erreur du sondage. Les lois statistiques qui permettent de la déterminer ne valent théoriquement que pour les sondages aléatoires. En pratique, on considère cependant que la marge d’erreur des sondages par quotas est égale ou inférieure à celle des sondages aléatoires.

En pratique ce n'est pas un argument très scientifique.

christophe a dit…

salut Roud,

une remarque de physicien : Qu'est-ce qui empeche les instituts de faire des mesures qui sont aussi correlees dans le temps (c'est-a-dire en utilisant des anciens sondages) ? Est-ce que tu as etudie si cette correlation permet de reduire l'ecart type tout en indiquant une tendance (machin monte ou machin descent) ?

Tom Roud a dit…

Hello Christophe,
Efectivement, je suis à peu près sûr qu'ils font comme cela. D'ailleurs, la nouvelle invention d'Ipsos (le sondage jour après jour) va bien dans cette tendance (ils utilisent le sondage n-3,n-2,n-1 pour calculer le sondage au temps n).
En revanche, je n'ai pas regardé ce que cela faisait quand le score évolue (à mon avis, cela doit rendre les courbes plus lisses, mais multplier les "décrochages", un peu comme le mouvement de la corde de violon frottée par l'archer). C'est une bonne idée, je vais regarder ce que cela fait dès que j'ai le temps.
Sinon, ipsos est encore une fois très limite sur ce coup-là : l'institut reconnaît une marge erreur de 3 à 4 points, mais donne le résulta à 0.5 % près. Comme si le fait de regarder jour par jour augmentait la précision du sondage ! On frôle la malhonnêteté intellectuelle.

Dedalus a dit…

merci pour tous ces échanges bien intéressants pour moi qui cherche à solidifier mes argumentaires dans l'opération que j'ai lancée : "Les sondages nous mentent - Nous mentons aux sondeurs" : c'est sur tousmenteurs.fr

ma conviction est effectivement qu'il y a un problème non seulement de marge d'erreurs, mais aussi dans la méthode de redressements des données brutes recueillies par les instituts de sondages, méthodes qui restent couvertes par un étrange secret de fabrication et redressements qui s'appuient nécessairement sur un passé qui suppose des comportements statiques aux sondés - ce qui n'est évidemment pas le cas.

bref, je vous invite à participer à cette opération (et au petit sondage des menteurs auquel il s'adosse) afin de mettre un peu la pression sur des instituts de sondages qui perturbent le jeu démocratiques plutôt que de l'enrichir - dans l'idéal, le sondage est un outil d'aide à la décision pour l'électeur dans le jeu électoral (les sondages sont la seule information dont l'électeur dispose sur les comportements des autres électeurs, et chacun d'entre eux est fondé à s'en servir : mais si l'outil est pris pour ce qu'il n'est pas, pis s'il est faussé, la décision de vote se fondant sur une information erronée, le résultat de la décision collective s'en trouve perturbé... avec le résultat que l'on sait en 2002 !)

Simlaba a dit…

Je vous remercie pour cet article qui répond exactement à une question que je me posais.

Publierai-vous vos résultats de vos autres essais sur ce blog?

Juste une petit témoignage en ce qui concerne les sondages sur internet: je me suis engagé dans la campagne politique pour un candidat. Je reçois des propositions de participation à des "votes" sur internet par l'équipe de campagne. Ainsi, je pense que les résultats de ces sondages sont surtout le reflet de la capacité de chacun des candidats à mobiliser ses militants sur internet à un moment donné.

Une question d'une naïveté absolue d'un débutant en statistiques: n'est-il pas possible de réaliser, sur une trés grande population, une série de sondage à un moment donné (après chaque élection, par exemple, ou en début de campagne), sur lesquels la marge d'erreur serait limitée, assortis d'un échantillonage par populations types. Cette série permettrait d'avoir un sondage-étalon, à marge d'erreur relativement faible, puisque fait sur une grande population. Si un sondage (sur une population faible et donc à marge d'erreur importante) s'éloigne beaucoup de ce sondage étalon (le résultat+la marge d'erreur n'intersectant pas le sondage étalon+sa marge d'erreur), il permet de conclure une évolution de cet étalon.

Ce n'est bien sûr qu'une idée. Ceci irait dans le sens d'un sondage vu comme l'étude de variations de tendances de populations, et non comme l'expression d'une population à un instant donné.

Encore merci pour ce billet passionnant.

Tom Roud a dit…

@simlaba :
Merci pour votre commentaire. En fait, la méthode que vous proposez doit effectivement ressembler à ce que font les instituts de sondage (à partir des élections). Maintenant, comme toute l'information intéressante se situe justement dans ces fluctuations de l'opinion...

A part ça, je continuerai probablement à parler de sondages de temps en temps, mais vous l'aurez compris, ce n'est pas le thème principal de ce blog ;)