Sondages fiables: le web s’approche du téléphone

MONTRÉAL — À moins d’un an des élections provinciales, le boulier des sondages tourne à plein régime et ses résultats ponctuels captivent politiciens, médias et analystes, de même qu’une bonne partie du public.

Bien que généralement fiables, les sondeurs sont néanmoins toujours à la recherche de la formule magique qui leur éviterait d’être placés au banc des accusés lorsque la réalité s’écarte de ce que leur lorgnette avait vu.

Les firmes de sondage sont en effet encore à ajuster leurs appareils depuis l’arrivée de l’internet et l’érosion de la ligne téléphonique de résidence, outil précieux pour la qualité de l’échantillonnage de population.

«Il est plus facile d’aller chercher les plus jeunes en ligne qu’au téléphone et vice versa pour les plus âgés», explique le vice-président aux affaires publiques d’Ipsos, Sébastien Dallaire, qui admet d’emblée que de sonder la population sans pouvoir utiliser le téléphone résidentiel demeure «le défi moderne des sondeurs».

Et il ne cherche pas de faux-fuyant lorsqu’on lui demande si la fiabilité des sondages s’est maintenue avec le virage internet: «Non. On doit s’adapter constamment, c’est un fait», dit-il.

Web vs. téléphone

Par téléphone ou en ligne, le profane n’y voit guère de différence, mais le téléphone demeure la norme de référence pour un échantillonnage «probabiliste», dans le jargon des experts, qui le considèrent supérieur au plan méthodologique. Avec les lignes téléphoniques résidentielles, il était plus facile d’obtenir une répartition régionale et le fait d’appeler au hasard pour chaque sondage fournissait un nouvel échantillon à chaque fois.

Sur le web, au contraire, les sondeurs travaillent la plupart du temps avec des panels auxquels ils reviennent constamment. Au début, les résultats n’étaient pas très probants, selon la sociologue Claire Durand, de l’Université de Montréal, qui est également présidente de l’Association mondiale de recherche en opinion publique (WAPOR).

«Dans les débuts des sondages web, je ne les gardais même pas dans mes analyses», confie-t-elle en riant.

Elle souligne notamment que les sondages web étaient plus à gauche. «On avait souvent une différence de 3, 4, 5 points, même, en faveur du NPD au Canada ou du Labour en Grande-Bretagne, ce qui n’est plus le cas.»

Elle s’empresse toutefois d’ajouter qu’il y a eu «beaucoup d’amélioration» parce que la couverture web s’est grandement élargie et aussi parce que la technique dite «de modélisation» employée par les sondeurs qui utilisent des panels en ligne s’est grandement raffinée.

«Pendant des années, les gens qui font du web ont comparé avec des sondages téléphoniques réalisés en même temps pour essayer de bien ajuster leurs échantillons et ça donne des résultats», reconnaît-elle.

Anonymat et «volontarisme»

Le professeur Guy Cucumel, spécialiste des sondages au département de management et technologie de l’UQAM, souligne une des faiblesses du web par rapport au téléphone, où l’on sait qui on rejoint et où cette personne se trouve: «On ne sait jamais avec certitude d’où les gens répondent lorsqu’ils sont en ligne, et il y a aussi un certain anonymat avec le web.»

Les sondeurs s’en tirent toutefois avec la force du nombre et l’engagement de leurs panels web, mais cela présente d’autres types de problèmes.

«Les gens ne sont pas toujours choisis au hasard», souligne Claire Durand, qui donne en exemple la pratique chez certains d’inviter des gens à s’inscrire à des panels. Le caractère «volontariste» des participants leur donne ainsi un profil qui leur est propre au départ.

«Les échantillons traditionnels de panels sont possiblement un peu trop homogènes ou pas assez gros, de sorte qu’on réinterview toujours les mêmes personnes», ajoute-t-elle.

Or, quand ce sont toujours les mêmes qui répondent, «vous avez moins de chance que l’intention de vote change», fait valoir la chercheuse.

Dans l’espoir de rapprocher la fiabilité des sondages en ligne de celle par téléphone, certaines firmes mènent les deux méthodes en parallèle, d’autres recrutent de nouveaux panels de manière probabiliste par téléphone pour chaque élection et il y a ceux qui se tournent vers une autre technologie: les appels robotisés, qui peuvent être irritants pour les sondés, mais qui ont l’avantage d’être entièrement probabilistes.

Erreurs, marge d’erreur et Trump

Malgré tout, des erreurs se produisent et affectent grandement la crédibilité de la profession. Les élections de 2012 en Alberta et de 2013 en Colombie-Britannique, par exemple, ont donné lieu à des écarts variant dans certains cas de 10 à 16 points entre les sondages et les résultats.

«Jusqu’à date, c’est relativement inexplicable», selon Mme Durand, qui note par ailleurs que le dernier sondeur sur le terrain en Alberta en 2012, la firme Forum, s’était rapproché du résultat en utilisant la méthode du sondage téléphonique automatisé.

Par contre, certaines «erreurs» n’en sont pas. Le cas Donald Trump aux États-Unis est un exemple éloquent, souligne Sébastien Dallaire.

«C’est le mauvais gagnant qui a été choisi par presque tous les sondeurs, mais l’estimation du vote populaire était pas mal juste», explique le vice-président d’Ipsos, qui pointe «les cinq ou six États où le mince écart en faveur de Hillary Clinton a chaviré et Donald Trump est passé par 1%».

En d’autres termes, ce ne sont pas les sondages qui se sont trompés, le résultat étant tout à fait dans les marges d’erreur, mais bien les sondeurs lorsqu’ils ont tenté de prédire le résultat, parlant d’une victoire «probable» de Mme Clinton entre 65 à 90%.

«Huit sondages sur 11 vers la fin disaient que Trump et Clinton étaient à égalité statistique, rappelle Claire Durand. Le problème, c’est qu’on s’est mis à parler de probabilité et les gens ont cru que la probabilité que Clinton gagne était plus élevée qu’en réalité.»

«Je m’insurge complètement contre les probabilités, mais je sais que j’ai perdu cette bataille», laisse tomber Mme Durand, qui évalue que les sondages «se sont plantés» dans les États qui ont basculé pour Trump et que les sondeurs se sont entêtés à croire qu’il était impossible que Mme Clinton perde dans ces cinq États-clés.

«On aurait dû se dire exactement l’inverse: si elle basculait dans un État, c’est qu’elle basculerait partout», affirme-t-elle, ajoutant que c’est justement ce qui définit une vague ou une bascule de dernière minute.

Électeurs volatils et menteurs

Une difficulté qui n’a fait surface que récemment est l’instabilité des électeurs, souligne Sébastien Dallaire. «Les électeurs sont beaucoup plus volatils qu’avant», dit-il, ajoutant que les électeurs rouges à vie ou bleus à vie sont de moins en moins nombreux.

De plus, ces variations prennent souvent de l’ampleur dans les derniers jours d’une campagne, ce qui rend la mesure plus risquée.

«C’est vrai, mais j’appelle ça un prétexte de sondeur», rétorque Claire Durand.

La sociologue fait valoir qu’autrefois, un sondage téléphonique pouvait prendre 10 jours, ce qui rendait des mouvements soudains difficiles à prévoir, mais les sondages web ou par robot téléphonique n’en prennent que deux ou trois et, donc, «si le monde change, ils sont là pour le mesurer. Il n’y a pas de problème».

Un autre phénomène, constant celui-là, relève de la crainte des sondés de fournir des réponses qu’ils savent socialement mal vues.

«Les gens mentent dans une certaine mesure, notamment en ce qui a trait aux partis un peu extrémistes», affirme Guy Cucumel.

Les sondeurs français ont ainsi appris à la dure, lorsque Jean-Marie Le Pen s’est rendu au deuxième tour de la présidentielle de 2002, que les gens ont du mal à avouer qu’ils sont d’extrême-droite ou d’extrême-gauche, qu’ils sont xénophobes ou autre.

«Personne ne l’avait vu venir», rappelle le chercheur de l’UQAM qui constate que les sondeurs français ont appris à s’ajuster, bien qu’il s’interroge sur leur méthodologie.

«Leur pondération a fonctionné, mais elle est maintenant basée sur beaucoup d’intuition et d’apprentissage. Je ne suis pas certain que ce soit complètement scientifique», ajoute-t-il.

Médias sensationnalistes

Les firmes de sondage sont par ailleurs vulnérables à l’interprétation que font les médias de leurs résultats, eux dont le réflexe premier est de chercher la donnée qui détonne, celle qui représente une nouvelle.

Claire Durand prend l’exemple de l’élection fédérale de 2015, où le Nouveau Parti démocratique était parti favori avec les libéraux de Justin Trudeau en troisième place, élection d’une durée anormalement longue qui a vu le premier et le troisième s’échanger leurs positions respectives pendant que les conservateurs demeuraient stables en deuxième place.

«Sur une même journée, vous aviez le NPD à 31% dans un sondage et deux autres sondeurs qui le mettaient à 34 et 35; les médias faisaient leur « une » avec la baisse», une erreur tant de méthodologie que d’éthique, selon elle.

«J’ai eu très peur que le fait que les médias insistent sur le sensationnel sans mettre en contexte puisse influencer l’élection», avoue-t-elle, tout en reconnaissant qu’une telle influence sur le résultat «n’est pas mesurable».

Elle a d’ailleurs refusé de se prêter à ce jeu lorsqu’un média lui a demandé d’aller commenter un de ces sondages qui était le seul à montrer un pointage différent: «J’ai dit non; ça faisait une semaine que je disais à tout le monde qu’il fallait parler de tous les sondages publiés.»

D’où cet appel lancé par Sébastien Dallaire: «Il faut aussi que les lecteurs et les journalistes soient plus vigilants avec la méthodologie qui a été employée.»