observatoire des sondages

Sondage belge

2010-09-07T18:03:47Z

Si la crise politique à laquelle est confrontée la Belgique semble pour l'instant sans issue, certains commentateurs allant jusqu'à évoquer une éventuelle disparition du pays, le quotidien La libre Belgique publiait ce mardi 7 septembre 2010 un sondage, par internet, selon lequel 14% des Belges et 15% des Flamands, seulement, sont favorables à une partition. Une surprise ? Personne ne contestera qu'évoquer cette information, voire émettre un avis sans pouvoir disposer des détails de l'enquête ne serait pas sérieux. Pour la grande majorité de la presse française, qui a repris et commenté ce sondage, cet argument, de bon sens, n'a plus cours. Pas un seul article ou commentaire ne s'est en effet préoccupé des sources de cette information, et de la méthodologie utilisée pour obtenir de tels résultats. Le mot sondage ferait-il perdre tous leurs moyens aux journalistes ?

Plaidoyer pro domo de l'Ifop

2010-09-06T17:53:10Z

Pris à parti pour un push poll pour le Figaro (5 août 2010), et donc l'Elysée, sur les questions de sécurité, l'Ifop a publié sur son site une défense des sondages en ligne. Le sondage concerné avait été critiqué à ce titre mais surtout comme push poll. Il est vrai que les sondages en ligne se prêtent aussi et peut-être mieux que les autres à ces manipulations par lesquelles on parvient à faire dire ce que l'on veut aux sondés.

Encore une fois, un sondeur fait semblant de ne pas comprendre et déplace le débat sur des aspects « méthodologiques », comme l'écrit improprement le directeur d'études qui a pris la plume. Nous ne ferons pas semblant de croire que la défense du commerce doive être réfutée scientifiquement mais il faut malgré tout signaler les tromperies d'une justification marchande tant, en la matière, l'aveuglement et la confusion règnent.

Première ficelle : choisir l'adversaire. Selon notre directeur d'études, un titre aussi ronflant qu'institut de sondage pour faire croire à une scientificité, la contestation de la fiabilité viendrait « par une conjonction d'intérêts parfois contradictoires, des journalistes, des personnalités politiques et des citoyens ». Les intérêts trompent, c'est bien connu, et les sondeurs n'en ont pas. La critique ne vient pas de scientifiques puisqu'ils ne sauraient critiquer les sondages.

Deuxième ficelle : la représentativité des échantillons de sondés en ligne serait établie car les populations d'internautes ressemblent de plus en plus à la population globale. La critique des sondages en ligne s'effondrerait comme elle l'a fait à propos du téléphone. Cette critique très positiviste n'a jamais été importante pour les critiques des sondages en ligne au contraire du caractère spontané des échantillons, ensuite redressés selon la méthode des quotas. Suffit-il que l'Ifop ait un ordinateur puissant pour que la méthode soit inchangée ? A l'évidence non, mais nul n'est plus aveugle que celui qui ne veut pas voir.

Troisième ficelle : les résultats comparés seraient très proches est-il avancé sur plusieurs cas. Il n'est pas besoin d'être un grand épistémologue pour savoir que les exemples ne prouvent jamais rien. Il suffit de bien les choisir.

Quatrième ficelle : ignorer les critiques. L'une d'entre elle n'est même pas évoquée. Nulle part, la rémunération des sondés n'est abordée. Seulement la relation de confiance entre sondeurs et sondés. On croit rêver mais non c'est la même confiance qu'évoquent les marchands d'automobiles à l'égard de leurs clients. Et d'autres. Simplement, ils ne trafiquent pas de l'opinion qui est censée peser sur les choix politiques et qui sont publiés pour cela. Opinion achetée ; opinion vendue.

L'opinion contre la démocratie

2010-09-06T10:05:24Z

Un sondage en ligne Harris Interactive a été repris en boucle sur les medias montrant qu'une grande partie des sondés était favorable à la démission du ministre Eric Woerth à la suite des révélations de l'affaire Bettencourt (RTL, 5 septembre 2010). Aucun commentateur n'a relevé que l'avis de sondés rémunérés comprenant même des mineurs sur cette question n'a aucune espèce d'intérêt et contredit surtout un principe cardinal de la démocratie, à savoir le principe de responsabilité. Un jugement d'opinion inverse n'aurait à cet égard pas plus d'intérêt. Cela en dit long sur la crise morale qui affecte l'esprit public. Sans doute, les commentateurs professionnels – mais où ont-ils cru acquérir quelque compétence pour commenter ? – confondent-ils encore opinion et démocratie au point de reprendre à l'envi le poncif de la démocratie d'opinion. Faute de lire les vieux classiques, ils ont devant les yeux un exemple patent de la contradiction et ne voient rien. Quand il faudrait une conscience morale qui hurle, ce temps n'offre que des pourcentages.

L'opinion publique, ça s'achète

2010-09-06T09:53:34Z

On ne signalera jamais assez les différents biais qui disqualifient les études en ligne au premier plan desquels la rémunération des opinions, devenues des marchandises que les entreprises de sondage achètent et revendent, ou échangent. Pièce à conviction : la page récompense (rewards) du site de la société Harris interactive (pour visualiser, cliquer sur la vignette ci-dessous).


Rémunération des sondages en ligne Harris Interactive

Gossip Girl : saison 2010-2011

2010-09-01T18:00:19Z

Si on emprunte au langage médiatique, l'Observatoire des sondages entame sa rentrée 2010 sans qu'on puisse dire qu'il y ait eu une véritable trêve sur ce front. Certes, les animateurs ont a été un peu moins actifs. Ils devraient s'en excuser si leur activité de veille et de critique n'était complètement bénévole. De grâce, ont-ils envie parfois de protester, laissez-nous souffler. Cet été, ils l'ont souvent pensé alors qu'ils souhaitaient surtout à reconstituer leur force de travail. L'actualité les sollicita à peine moins que l'an dernier où l'OpinionGate éclatait en plein mois de juillet. Cette fois-ci, puisque cela devient une sorte d'habitude, le scandale de l'été, mettait moins l'attention sur les sondages. En tout cas directement. Car, la mauvaise situation dans laquelle se retrouvaient les gouvernants, avec l'affaire Bettencourt, n'était pas étrangère à l'offensive politique lancée sur des sujets dérivatifs. La retraite dans laquelle le principal protagoniste, le ministre du travail, était compromis de manière si éclatante qu'encore une fois, il faut bien se demander comment la responsabilité politique a pu devenir un principe aussi obsolète en France. Et surtout, il y eut l'offensive présidentielle sur la sécurité. Sur ces deux terrains, les sondages ont montré une fois de plus qu'ils appartiennent dorénavant à la panoplie ordinaire de fabrication de l'opinion mais selon des procédés qui attestent que les fabricants ont de moins en moins de scrupules. Il fut un temps où aucun sondeur n'aurait imaginé administrer et publier des sondages aussi manipulatoires et faut-il le dire aussi malhonnêtes. Il faut en tirer les conclusions ultimes pour notre nouvelle saison (pour parler cette fois comme dans les séries télévisées).

Comme l'Observatoire des sondages avait suivi l'OpinionGate en 2009 et 2010, les push polls vont être le fil conducteur pour la prochaine année. Une série d'articles va donc suivre pour expliquer leur généralisation en France. Et bien sûr, l'actualité des push polls sera une partie importante de notre veille puisque nous ne prenons aucun risque en annonçant d'ores et déjà que l'année à venir va en être particulièrement riche.

Avec l'Opiniongate qui nous avait beaucoup occupé l'an dernier et valu quelques ennuis judiciaires (toujours en cours), notre critique des sondages a manifestement pris un accent politique qui pourrait prêter à confusion. Il est clair que l'usage manipulatoire des sondages caractérise aujourd'hui un pouvoir politique aux tendances très antidémocratiques. Du coup, notre objectif peut en paraître flou. Sans être indulgent à l'égard de la crédulité politique d'autres partis, il est clair qu'ils ne sont pas au centre de la critique car ils ne détiennent pas le pouvoir, et n'ont pas les moyens financiers de l'Etat et des entreprises qui paient les instruments de manipulation. Surtout, ils ne sont pas menacés de perdre le pouvoir comme le pouvoir sarkoziste semble en découvrir le danger avec quelque affolement. Dans une situation qui peut tourner à la panique, l'entreprise politique dont les caractères d'autocratie élective sont particulièrement prononcés, va forcément utiliser jusqu'à la démesure les instruments de fabrication de l'opinion. Le pouvoir va être servi par la dégradation profonde des pratiques et du métier de sondeur. Cela nous donne des devoirs particuliers de vigilance et nous vaudra probablement quelques ennuis supplémentaires. L'Observatoire des sondages essaiera d'être à la hauteur sans négliger les autres aspects de l'actualité et de l'analyse des sondages.

Biaisant ? Forcément

2010-09-01T18:00:04Z

Dans les sondages aussi, il fut un temps où l'on croyait volontiers que les défauts de méthode étaient des défauts de jeunesse. Et les professionnels se moquaient volontiers de leurs propres erreurs anciennes. Ils avaient été naïfs, concédaient-ils sans apercevoir qu'ils le restaient en croyant dans l'inéluctabilité du progrès. Bien sûr, on peut faire aussi des progrès dans les trucages. Ou dans leur justification. Ainsi se multiplient aujourd'hui des questions manifestement inacceptables autrefois parce qu'elles orientent la réponse. Un sondeur aurait-il accepté il y a seulement trente ans de demander :

« Etes-vous favorable ou opposé aux expulsions vers la Roumanie de Roms sans papiers ? » [1].

Certes, objecteront des sondeurs d'aujourd'hui, eux, ils ne l'auraient pas posée et ils mettront en cause OpinionWay, l'entreprise qu'ils ont si souvent critiquée pour ne pas respecter certaines règles élémentaires.

Aussi intéressant que cette grossière falsification d'un push poll, a été la réponse du coupable aux critiques qui faisaient remarquer qu'il n'y avait pas de Roms sans papiers puisque leur pays la Roumanie faisait partie de l'Union européenne. Une toute petite objection qui n'a pas démonté un sondeur prompt à sortir de son répertoire d'excuse celle toute faite de l'euphémisation. « On aurait pu faire un autre choix », rétorquait le directeur d'études d'OpinionWay (Libération fr. 27 août 2010). On avait déjà rencontré l'argument grossier du relativisme de la méthode : de toute façon, il n'y a pas de question parfaite, on aurait pu trouver une autre formulation … avec d'autres inconvénients. L'important est de répondre et de faire oublier. Au passage une petite perfidie à l'endroit de la concurrence consiste aussi à pointer les choix d'un concurrent. Autre réponse de son directeur d'études : Opinion Way a préféré parler de « certains camps » contrairement à l'Ifop qui évoquait les « camps illégaux », ou encore a pu éviter le pire en renonçant à l'expression « en situation irrégulière », plus biaisante ». Et s'il n'est que des questions biaisantes, est-ce une excuse ? Et pourquoi insister ? Les entreprises qui se sont manifestement spécialisées dans la réalisation de push polls pour le Figaro et l'Elysée organisent une compétition du plus mal disant dont on peut attendre de beaux développements méthodologiques.

[1] Cf. Le Politoscope OpinionWay-Le Figaro, 26 août 2010.

Petite réponse sur l'ironie, l'arrogance et les Roms

2010-09-01T17:59:33Z

Certains lecteurs se sont émus de nos remarques ironiques demandant aux sondeurs d'abandonner la politique et de se consacrer à ce qu'ils savent faire : interroger les gens sur leurs préférences alimentaires, sur leurs goûts en matière d'habillement, d'automobile, de produits de beauté, ou encore s'ils privilégient les vacances à la mer ou la montagne, etc.

A notre tour d'interroger. Gagner de l'argent pour poser des questions du genre « faut-il bouter les Roms hors de France » est-ce une activité honorable ?

Au rendez-vous des turfistes (5)

2010-08-30T10:29:05Z

Selon un sondage TNS-Sofrès-Logica pour Le Nouvel Observateur, publié le 25 août 2010, le président de la République Nicolas Sarkozy est en tête des intentions de vote pour le premier tour de l'élection présidentielle de 2012, quel que soit le candidat ou la candidate du parti socialiste, mais avec des différences notoires selon les hypothèses retenues. Il totalise 28% d'intentions de vote face à Martine Aubry (22%), 29% face à Ségolène Royal (16%), 29% face à François Hollande, et 26% face à Dominique Strauss-Kahn (25%).

Les autres candidats sont largement distancés, Marine Le Pen (FN) 13% (12% face à Dominique Strauss Kahn), Eva Joly (Les Verts) 9% (face à Martine Aubry et Dominique Stauss Kahn), 11% (face à François Hollande, 12% (face à Ségolène Royal), François Bayrou 7% (6% face à Dominique Strauss Kahn), Dominique de Villepin 7% (face à Martine Aubry et Ségolène Royal), 8% (face à François Hollande), 6% (face à Dominique Strauss Kahn), Olivier Besancenot (NPA) 7% (face à Martine Aubry) 8% (face à Ségolène Royal et François Hollande) 9% (face à Dominique Strauss-Kahn), Jean-Luc Mélenchon 5 % (4% face à Martine Aubry), Hervé Morin (NC) 2% (1% face à Dominique Strauss-Kahn), Nathalie arthaud (LO) 1%. Les sondés n'exprimant aucune intention de vote oscillant selon les hypothèses proposées entre 17 et 20% (sur un total de 1000 personnes interrogées).

Toujours selon ce sondage, pour le second tour, Nicolas Sarkozy est distancé en intentions de vote par Martine Aubry (53% contre 47), par Dominique Strauss Kahn (59% contre 41), à égalité avec François Hollande (50% contre 50%), et distance Ségolène Royal (51% contre 49%). Les sondés n'exprimant aucune intention de vote oscillant selon les hypothèses proposées entre 19 et 23%.

Quand les sondeurs réfléchissent : défense de rire

2010-08-15T07:24:01Z

Les sondeurs ont-ils été sensibles aux critiques qui ont été adressées à l'un des leurs, en l'occurrence l'Ifop, suite à la publication de son sondage plébiscitant les propositions de Nicolas Sarkozy en matière de lutte contre l'insécurité ? Si l'on se réfère aux déclarations du directeur du département Politique-opinion de CSA on pourrait le penser. Commentant les résultats de son propre sondage publié par l'hebdomadaire Marianne du 14 août 2010, il explique doctement à une journaliste de l'AFP (AFP 13 aout 2010) mobilisée pour l'occasion : « On a passé beaucoup de temps à réfléchir à la formulation des questions pour éviter que la réponse ne soit dans la question ».

La lecture du sondage indique toutefois que le temps imparti à la réflexion n'a semble-t-il pas été suffisant ou que la réflexion n'a pas été suffisamment intense. Une des questions du sondage porte sur la déchéance de la nationalité française en cas de crimes graves ou de meurtres de membres de forces de l'ordre par des Français d'origine étrangère : les réponses proposées aux sondés ne sont pas absolument pas symétriques, les arguments en faveur ou en défaveur n'étant aucunement similaires ou comparables. L'approbation de la déchéance de la nationalité est justifiée uniquement par un « raisonnement » tautologique selon lequel l'attribution de la nationalité doit être remise cause en cas d'acte de grave sans plus de précision, alors que la désapprobation de cette déchéance est justifiée par un argument juridique et moral à savoir les Français doivent être égaux devant la loi quelle que soit leur origine. Il n'est pas absurde de penser qu'une partie des sondés était avant tout plus soucieuse de signifier expressément leur attachement à l'un des trois mots constituant la devise de la République française, l'égalité, qu'à un renforcement de la répression pénale frappant uniquement une certaine catégorie de délinquants et criminels, les Français d'origine étrangère. (51%) (contre 46%).

On ne saurait trop recommander aux marchands de sondage d'utiliser leur compétence à ce qu'ils savent faire le mieux et qui se prête parfaitement à leur déontologie, et qui leur rapporte rappelons le beaucoup plus d'argent que les sondages d'opinion publique : demander aux Français s'ils préfèrent le savon enrichi à l'huile d'olive ou au lait d'amande douce. Mais ces marchands et leurs clients accepteront-ils de renoncer aux tribunes et espaces publicitaires en tout genre, que leur offrent complaisamment nombre de médias ? Une fois encore la réponse est dans la question.

Sondage pousse au crime : CSA récidive

2010-08-15T07:14:30Z

Une semaine à peine après avoir effectué un sondage pousse au crime sur les propositions faites par Nicolas Sarkozy pour lutter contre l'insécurité, CSA a réitéré l'exercice (cf. Marianne 14 août 2010). Est-ce le peu d'échos faits à son étude parue le 6 août dans l'Humanité, contrairement à celle de l'Ifop, plébiscitant les dites propositions (cf. Le Figaro 5 août 2010), qui a incité l'entreprise de sondage à renouveler l'opération, et à « reprendre la main » ? Le choix de l'hebdomadaire Marianne, difficilement soupçonnable de complaisance à l'égard du pouvoir actuel et du locataire de l'Elysée en particulier, pourrait le laisser croire. D'autant que la une du précédent numéro de l'hebdomadaire, traitant Nicolas Sarkozy de voyou, avait déclenché, sans surprise, la colère des membres de la majorité présidentielle, mais également des interrogations de la part d'élus socialistes et même de journalistes, sur la pertinence ou la légalité du qualificatif (cf. Pierre Moscovici, RMC, 9 août 2010 ; C dans l'air, France5, 11 août 2010).

Les résultats de ce nouveau sondage n'ont, comme le précédent, aucun des atours du plébiscite organisé par l'Ifop, à la grande satisfaction du directeur de Marianne, comme d'une partie de la presse, (cf. par exemple Libération, 14 août 2010 ; Lepost.fr, 14 août 2010). Le reste (Le Monde, 13 août 2010 ; Le Figaro, 13 août 2010 ; Le Parisien, 13 aoüt 2010) relevant principalement le caractère contradictoire de l'étude CSA par rapport à celle de l'Ifop. Rien d'étonnant de prime abord puisque contrairement à cette dernière, la plupart des questions de CSA portent sur l'efficacité de la politique de sécurité menée jusqu'à présent par Nicolas Sarkozy, depuis qu'il fut ministre de l'intérieur, c'est-à-dire 8 ans. Le jugement des sondés n'est certes pas favorable au président de la République actuel [1] , mais le démenti, au sens strict du terme, apporté par les sondés ne concerne qu'une seule mesure [2] et n'atteint qu'une faible majorité (51%), le reste n'étant pas soumis à leur évaluation. Quitte à comparer autant comparer ce qui est comparable ! Non ? Ce n'était sans doute pas l'objectif de ce sondage pousse au crime. Il suffit de noter la présence d'une question relative à la déchéance de la nationalité française pour les Français exilés fiscaux, qui « ne méritent pas » pour 66% des sondés la nationalité française. Peut-on par ailleurs s'estimer satisfait lorsque 75% seulement des sondés considèrent que les Français d'origine étrangère sont des Français à part entière, 22% affirmant le contraire. Difficile de certifier qu'il s'agit pour ces 22% restants, d'une simple provocation aux vertus pédagogiques à destination de Nicolas Sarkozy ou de son épouse. CSA et Marianne se sont donc laissés tenter par la surenchère. Combat de sondage, le mien contre le tien, telle est la logique dans laquelle s'inscrivent ces trois sondages successifs. Jean Daniel Lévy [3] et Jérôme Fourquet [4] ne croient d'ailleurs pas si bien dire lorsqu'ils assurent, soucieux surtout de ne pas apparaître en opposition frontale, que leurs études sont « complémentaires » (cf. AFP 13 août 2010).

Il faut avoir atteint un taux de sondo-dépendance pour le moins préoccupant, être peu au fait de la fabrication des sondages d'opinion, avoir une faible connaissance des sciences humaines en la matière, voire les trois à la fois, ou simplement faire de la politique, pour décréter comme le pdg de Marianne : « que les Français s'inscrivent imperturbablement dans la philosophie de 1789 », et adopter un ton triomphal en ouverture de son article : « La claque est monumentale ».

[1] 69 % des sondés estiment sa politique « plutôt inefficace » ; 68% que la suppression de la police de proximité a contribué à l'augmentation de la délinquance ; 73% que les inégalités sociales constituent la principale cause de cette dernière, etc.

[2] Celle de la déchéance de la nationalité pour les meurtres de forces de l'ordre ou les actes graves commis par des Français d'origine étrangère.

[3] Directeur du département Politique opinion de CSA.

[4] Directeur adjoint du département Opinion de l'Ifop.