Liste des articles
Vue 33 fois
31 mars 2017
Un point de vue sur les sondages d’intentions de vote en 2017
Publié par
Jean Chiche
| Election présidentielle française
Il n’est pas nouveau d’incriminer les sondages. Le public comme les media assimilent tous les sondages, quel que soit leur objet, qu’il s’agisse de mesurer des comportements, ou des opinions. Et parmi ces enquêtes, les mesures d’intentions de vote sont les plus visibles, les plus commentées et bien sûr les plus décriées. Ce court article considèrera uniquement les sondages d’opinion incluant des intentions de vote.
Depuis plus de 50 ans, sociologues, philosophes, statisticiens s’interrogent sur la pertinence des sondages d’opinions et en particulier des enquêtes d’intentions de vote. Les citoyens, les media, et les acteurs politiques se sont longtemps servis des sondages politiques comme d’instruments de prévision électorale. Cette utilisation a été largement remise en question par les « échecs » retentissants qu’ont subis les sondages électoraux comme outils de prévision infaillible des résultats. Il y a plus de quarante ans, Frédéric Bon publiait un livre au titre évocateur "Les sondages peuvent-ils se tromper ?" [1]. A cette question, qui paraissait à l'époque bien académique, l'auteur donnait une réponse mesurée. Tout en soulignant quelques échecs notables - entre autres l'erreur des sondages britanniques en 1970 - il notait que "sur dix-neuf expériences tentées à l'occasion de sept scrutins, les instituts britanniques affichent dix-sept succès"[2] . Aujourd’hui nous ne pouvons que constater les échecs successifs dans de nombreux pays et pour différents types de scrutins. Quelques exemples retentissants en attestent. Aux Etats-Unis, lors des élections intermédiaires de 2014, les sondages n’ont pas mesuré l’intensité de la vague en faveur des républicains leur assurant une très forte majorité. Lors des dernières élections législatives britanniques, la forte majorité en faveur de David Cameron n’a pas été anticipée. En Israël, aux dernières législatives, les sondages ont gravement sous-estimé la victoire de B. Netanyahou. Pis, une majorité d’enquêtes britanniques n’avaient pas mesuré la victoire du non au référendum sur le maintien dan l’UE. Plus récemment, la victoire de Donald Trump n’a pas été anticipée, même si les enquêtes nationales avaient correctement mesuré le rapport de force Clinton/Trump, Les estimations des élections législatives espagnoles n’ont pas été meilleures… Aux Pays-Bas, le parti populiste a été tellement sur-estimé qu’on a craint que la Hollande ne bascule à l’extrême droite et que le « Nexit » soit à l’ordre du jour, donnant un probable coup fatal à l’Union Européenne.
En France, sans remonter à 2002, plusieurs instituts ont donné des résultats fantaisistes des scrutins municipaux ou régionaux de 2014 et 2015. Mais tous ne se sont pas trompés. Et que dire des sondages précédant les primaires de droite et du centre ou de la « belle alliance populaire ». On peut craindre que pour l’élection présidentielle à venir comme pour les élections législatives, l’indécision, la volatilité et la défiance ne soient de mise. Certes les sondages ne sont que des instruments imparfaits, mesurant l’état de l’opinion au moment où le « terrain » est réalisé, et les responsables des instituts ont raison de l’affirmer et de le répéter. Mais encore faut-il que cette mesure, prise au temps T, soit la plus précise possible et qu’elle n’induise pas en erreur les acteurs politiques, les observateurs ou les citoyens. L’exigence de qualité des enquêtes d’opinion doit-elle être nécessairement moins forte que celle des enquêtes épidémiologiques, d’audience voire de marketing ?
Aujourd’hui les sondages sont-ils moins bien conduits que par le passé ? Y a-t-il des raisons ou des difficultés objectives nouvelles ? Est-ce une fatalité et faut-il donc penser à d’autres moyens pour mesurer l’état de l’opinion et particulièrement pour établir des intentions de vote ?
Problèmes d’échantillonnage, taux de réponse en chute constante, modes de recueil, électeurs potentiels mal évalués, fausses déclarations, questionnaires trop facilement décodés par les personnes interrogées, indécision et plus forte volatilité d’une frange de plus en plus importante du corps électoral jusqu'au jour même de l'élection ? Cette série de questions n’est pas exhaustive mais doit être abordée si l’on souhaite améliorer la qualité de ces enquêtes. Ces lignes ne pourront se pencher sur toutes ces questions mais tenteront de donner quelques pistes de réflexion.
Les enquêtes par téléphone, majoritaires dans les années 1990 et 2000, sont plus complexes à réaliser, plus chères et moins fiables. A l’opérateur historique, France Telecom, se sont agrégés les opérateurs privés qui ont rendu le portable présent dans chaque foyer, utilisé par de plus en plus de Français dès leur plus jeune âge. Le rapport annuel de l’ARCEP[3] en témoigne. Couverture et nombre d’usagers sont en constante progression. En conséquence les bases de sondages sont plus complexes. Et les plans de sondage sont le résultat de modélisations. Aux numéros des téléphones fixes, utilisant des indicatifs géographiques, s’ajoutent les numéros des mobiles, générés par les opérateurs, et les numéros en 09 des box internet. Il faut utiliser un nombre de numéros impressionnant et en constante augmentation, avant de qualifier un numéro de téléphone correspondant à une personne qui sera interrogée. Et quand on a pu contacter un interlocuteur, le faire répondre devient de plus en plus aléatoire, même avec des enquêteurs parfaitement formés et correctement rémunérés. L’institut américain Pew Research Center[4] estime que les taux de réponse ont chuté de 70% dans les années 1970 à 36% au cours des années 90, et jusqu’à 8% en 2014. Si on a longtemps considéré les non-répondants comme ayant les mêmes opinions ou intentions de vote que les répondants, cette hypothèse semble plus difficile à soutenir. Et toujours pour des questions de coût et de rapidité du terrain, les échantillons sont basés sur la méthode des quotas. Cette méthode a fait ses preuves et a montré dans le passé qu’elle était fiable. Mais appliquer des quotas, établis sur la population des Français âgés de 18 ans et plus, à des répondants en faible nombre, et obtenir de bons résultats est statistiquement difficilement explicable et justifiable. La taille des échantillons est alors prépondérante. Plus la part de l’aléatoire sur un grand nombre de personnes interrogées est importante, plus les biais sont restreints.
Notons qu’aux Etats-Unis, lors des sondages pré-électoraux[5], la taille des échantillons nationaux était le plus souvent suffisante et a permis de bien mesurer le vote national populaire. Alors que dans les Etats en balance, bien des instituts se sont contentés d’échantillons de 500 personnes et ont été très peu fiables. Ils n’ont pas permis aux prévisionnistes de modéliser avec une chance raisonnable de succès.
Si jusqu’au milieu des années 2000, les sondages étaient le plus souvent administrés en face à face ou par téléphone, depuis l’élection de 2007[6], les enquêtes par Internet sont devenues quasiment la règle en France comme dans bien des pays. Leur coût de production bien moindre a encore augmenté le nombre d’intentions de vote publiés. Outre l’avantage du faible coût économique, l’auto-administration des questionnaires réduit la désirabilité sociale liée à la présence d’un enquêteur. Donner des opinions extrémistes ou jugées non convenables est plus facile face à un écran. Mais qui sont les personnes interrogées ? Le plus souvent, les instituts ont leur propre panel d’internautes qu’ils entretiennent le mieux possible. Mais comment sont constitués ces « viviers » et qui accepte ou n’accepte pas d’y participer ? Le recrutement des panélistes est crucial. Les enquêtes de recrutement donnent des informations précieuses. Mais elles n’existent pas toujours ou sont confidentielles et non disponibles. Quand les panélistes sont simplement recrutés via des pop-up ou des incitations par mail ou des fichiers achetés à des brokers, que vaut vraiment la base de sondage ? On pourra élaborer le meilleur plan de sondage et interroger le plus bel échantillon possible, les profils sociologiques de ceux qui ne sont pas dans le panel ne seront jamais atteints. On apprend, dans le rapport du CREDOC pour l’ARCEP[7], que la population n’utilisant pas ou très peu Internet pour des raisons de couverture, de moyens financiers, ou par manque d’intérêt peut atteindre jusqu’à 19% de la population. De même la population la plus aisée à fort patrimoine est moins disposée à être volontaire pour répondre régulièrement aux enquêtes proposées par un institut. Ce ne sont pas les très faibles incentives qui peuvent les attirer. L’analyse de la composition socioéconomique des panels utilisés par les instituts permettrait de mieux prendre en compte la non-réponse totale. Et peut-être de la corriger si on avait une meilleure connaissance de ces populations. Ces questions sont majeures pour élaborer des plans de sondages corrects et donc pour tirer des échantillons de qualité.
Et pourtant nombre d’enquêtes réalisées à la veille du jour du vote, avec ce protocole, ce taux de réponse si faible et cette méthode d’échantillonnage, ont conduit à des résultats très proches des résultats réels des élections. La raison principale est que les échantillons représentaient le mieux possible la population qui allait réellement voter : « les exprimés ». Ces enquêtes n’ont jamais été très pertinentes pour mesurer l’abstention, même si elles donnent des indicateurs intéressants sur les raisons de la non-participation. Le contre-exemple peut être les sondages des primaires où le corps électoral ne pouvait être connu et pour lesquels les instituts ont imaginé des questions filtres qui se sont avérées non suffisamment pertinentes.
Alors à un mois de l’élection présidentielle, les intentions de vote publiées quotidiennement nous donnent un ordre d’arrivée qui pourrait être totalement bouleversé tant la campagne électorale rend les électeurs perplexes, voire les met en colère. L’indécision est à ce point forte que la définition-même du corps électoral est difficile. En général, les Français se déplacent massivement pour voter à ce scrutin majeur. Mais s’il devait en être autrement les sondages actuels ne mesureraient que l’état d’une opinion virtuelle et qui le resterait. Rappelons qu’en 2002 une forte abstention (28 %) avait provoqué le séisme dont tout le monde se souvient et la pire bérézina « ressentie » pour les sondages. Si a contrario, malgré tous les aléas de cette campagne électorale, les Français votent dans les proportions habituelles, les sondages actuels se vérifieront et il est fort à parier qu’on ne parlera plus dans les media des problèmes des sondages et de la façon dont les Français s’en méfieraient[8]. Jusqu’aux prochaines législatives à peine quelques semaines plus tard.
[1] Frédéric Bon, Les sondages peuvent-ils se tromper, Paris, Calmann-Lévy, 1974.
[2] Frédéric Bon ouv.cit p164
[3] http://www.arcep.fr/index.php?id=8571&no_cache=1&tx_gsactualite_pi1%5Buid%5D=1890&tx_gsactualite_pi1%5BbackID%5D=26&cHash=807cca1649139e95c25f77398109592b
[4] http://www.people-press.org/methodology/collecting-survey-data/the-problem-of-declining-response-rates/
http://www.people-press.org/2012/05/15/assessing-the-representativeness-of-public-opinion-surveys/
[5] http://www.pollingreport.com/wh16gen.htm
[6] Le panel électoral du CEVIPOF, administré par téléphone par IFOP, a également été parallèlement administré en ligne, avec les mêmes questionnaires par OpinionWay. Les résultats ont été convergents sur les questions d’intentions de vote. Les reconstitutions des votes passés se sont avérées meilleures par Internet. L’expérience a été rééditée en administrant l’enquête postélectorale du CEVIPOF à la fois en ligne et par téléphone.
Boy, D et Chiche, J (2012), L’impact du mode d’administration dans les sondages électoraux
http://sondages2012.ensai.fr/wp-content/uploads/2011/01/Communication_Boy_Chiche.pdf
[7] Baromètre du numérique : Edition 2015. Conseil général de l’économie, de l’industrie de l’énergie et des technologies. ARCEP : Rapport du CREDOC par : Lucie Brice, Patricia Croutte, Pauline Jauneau-Cottet, Sophie Lautié
[8] OpinionWay administre pour Délits d’opinion un baromètre « les Français et les sondages » dont les résultats sont passionnants :
http://delitsdopinion.com/societe/1ere-vague-du-barometre-les-francais-et-les-sondages-21770/
Depuis plus de 50 ans, sociologues, philosophes, statisticiens s’interrogent sur la pertinence des sondages d’opinions et en particulier des enquêtes d’intentions de vote. Les citoyens, les media, et les acteurs politiques se sont longtemps servis des sondages politiques comme d’instruments de prévision électorale. Cette utilisation a été largement remise en question par les « échecs » retentissants qu’ont subis les sondages électoraux comme outils de prévision infaillible des résultats. Il y a plus de quarante ans, Frédéric Bon publiait un livre au titre évocateur "Les sondages peuvent-ils se tromper ?" [1]. A cette question, qui paraissait à l'époque bien académique, l'auteur donnait une réponse mesurée. Tout en soulignant quelques échecs notables - entre autres l'erreur des sondages britanniques en 1970 - il notait que "sur dix-neuf expériences tentées à l'occasion de sept scrutins, les instituts britanniques affichent dix-sept succès"[2] . Aujourd’hui nous ne pouvons que constater les échecs successifs dans de nombreux pays et pour différents types de scrutins. Quelques exemples retentissants en attestent. Aux Etats-Unis, lors des élections intermédiaires de 2014, les sondages n’ont pas mesuré l’intensité de la vague en faveur des républicains leur assurant une très forte majorité. Lors des dernières élections législatives britanniques, la forte majorité en faveur de David Cameron n’a pas été anticipée. En Israël, aux dernières législatives, les sondages ont gravement sous-estimé la victoire de B. Netanyahou. Pis, une majorité d’enquêtes britanniques n’avaient pas mesuré la victoire du non au référendum sur le maintien dan l’UE. Plus récemment, la victoire de Donald Trump n’a pas été anticipée, même si les enquêtes nationales avaient correctement mesuré le rapport de force Clinton/Trump, Les estimations des élections législatives espagnoles n’ont pas été meilleures… Aux Pays-Bas, le parti populiste a été tellement sur-estimé qu’on a craint que la Hollande ne bascule à l’extrême droite et que le « Nexit » soit à l’ordre du jour, donnant un probable coup fatal à l’Union Européenne.
En France, sans remonter à 2002, plusieurs instituts ont donné des résultats fantaisistes des scrutins municipaux ou régionaux de 2014 et 2015. Mais tous ne se sont pas trompés. Et que dire des sondages précédant les primaires de droite et du centre ou de la « belle alliance populaire ». On peut craindre que pour l’élection présidentielle à venir comme pour les élections législatives, l’indécision, la volatilité et la défiance ne soient de mise. Certes les sondages ne sont que des instruments imparfaits, mesurant l’état de l’opinion au moment où le « terrain » est réalisé, et les responsables des instituts ont raison de l’affirmer et de le répéter. Mais encore faut-il que cette mesure, prise au temps T, soit la plus précise possible et qu’elle n’induise pas en erreur les acteurs politiques, les observateurs ou les citoyens. L’exigence de qualité des enquêtes d’opinion doit-elle être nécessairement moins forte que celle des enquêtes épidémiologiques, d’audience voire de marketing ?
Aujourd’hui les sondages sont-ils moins bien conduits que par le passé ? Y a-t-il des raisons ou des difficultés objectives nouvelles ? Est-ce une fatalité et faut-il donc penser à d’autres moyens pour mesurer l’état de l’opinion et particulièrement pour établir des intentions de vote ?
Problèmes d’échantillonnage, taux de réponse en chute constante, modes de recueil, électeurs potentiels mal évalués, fausses déclarations, questionnaires trop facilement décodés par les personnes interrogées, indécision et plus forte volatilité d’une frange de plus en plus importante du corps électoral jusqu'au jour même de l'élection ? Cette série de questions n’est pas exhaustive mais doit être abordée si l’on souhaite améliorer la qualité de ces enquêtes. Ces lignes ne pourront se pencher sur toutes ces questions mais tenteront de donner quelques pistes de réflexion.
Les enquêtes par téléphone, majoritaires dans les années 1990 et 2000, sont plus complexes à réaliser, plus chères et moins fiables. A l’opérateur historique, France Telecom, se sont agrégés les opérateurs privés qui ont rendu le portable présent dans chaque foyer, utilisé par de plus en plus de Français dès leur plus jeune âge. Le rapport annuel de l’ARCEP[3] en témoigne. Couverture et nombre d’usagers sont en constante progression. En conséquence les bases de sondages sont plus complexes. Et les plans de sondage sont le résultat de modélisations. Aux numéros des téléphones fixes, utilisant des indicatifs géographiques, s’ajoutent les numéros des mobiles, générés par les opérateurs, et les numéros en 09 des box internet. Il faut utiliser un nombre de numéros impressionnant et en constante augmentation, avant de qualifier un numéro de téléphone correspondant à une personne qui sera interrogée. Et quand on a pu contacter un interlocuteur, le faire répondre devient de plus en plus aléatoire, même avec des enquêteurs parfaitement formés et correctement rémunérés. L’institut américain Pew Research Center[4] estime que les taux de réponse ont chuté de 70% dans les années 1970 à 36% au cours des années 90, et jusqu’à 8% en 2014. Si on a longtemps considéré les non-répondants comme ayant les mêmes opinions ou intentions de vote que les répondants, cette hypothèse semble plus difficile à soutenir. Et toujours pour des questions de coût et de rapidité du terrain, les échantillons sont basés sur la méthode des quotas. Cette méthode a fait ses preuves et a montré dans le passé qu’elle était fiable. Mais appliquer des quotas, établis sur la population des Français âgés de 18 ans et plus, à des répondants en faible nombre, et obtenir de bons résultats est statistiquement difficilement explicable et justifiable. La taille des échantillons est alors prépondérante. Plus la part de l’aléatoire sur un grand nombre de personnes interrogées est importante, plus les biais sont restreints.
Notons qu’aux Etats-Unis, lors des sondages pré-électoraux[5], la taille des échantillons nationaux était le plus souvent suffisante et a permis de bien mesurer le vote national populaire. Alors que dans les Etats en balance, bien des instituts se sont contentés d’échantillons de 500 personnes et ont été très peu fiables. Ils n’ont pas permis aux prévisionnistes de modéliser avec une chance raisonnable de succès.
Si jusqu’au milieu des années 2000, les sondages étaient le plus souvent administrés en face à face ou par téléphone, depuis l’élection de 2007[6], les enquêtes par Internet sont devenues quasiment la règle en France comme dans bien des pays. Leur coût de production bien moindre a encore augmenté le nombre d’intentions de vote publiés. Outre l’avantage du faible coût économique, l’auto-administration des questionnaires réduit la désirabilité sociale liée à la présence d’un enquêteur. Donner des opinions extrémistes ou jugées non convenables est plus facile face à un écran. Mais qui sont les personnes interrogées ? Le plus souvent, les instituts ont leur propre panel d’internautes qu’ils entretiennent le mieux possible. Mais comment sont constitués ces « viviers » et qui accepte ou n’accepte pas d’y participer ? Le recrutement des panélistes est crucial. Les enquêtes de recrutement donnent des informations précieuses. Mais elles n’existent pas toujours ou sont confidentielles et non disponibles. Quand les panélistes sont simplement recrutés via des pop-up ou des incitations par mail ou des fichiers achetés à des brokers, que vaut vraiment la base de sondage ? On pourra élaborer le meilleur plan de sondage et interroger le plus bel échantillon possible, les profils sociologiques de ceux qui ne sont pas dans le panel ne seront jamais atteints. On apprend, dans le rapport du CREDOC pour l’ARCEP[7], que la population n’utilisant pas ou très peu Internet pour des raisons de couverture, de moyens financiers, ou par manque d’intérêt peut atteindre jusqu’à 19% de la population. De même la population la plus aisée à fort patrimoine est moins disposée à être volontaire pour répondre régulièrement aux enquêtes proposées par un institut. Ce ne sont pas les très faibles incentives qui peuvent les attirer. L’analyse de la composition socioéconomique des panels utilisés par les instituts permettrait de mieux prendre en compte la non-réponse totale. Et peut-être de la corriger si on avait une meilleure connaissance de ces populations. Ces questions sont majeures pour élaborer des plans de sondages corrects et donc pour tirer des échantillons de qualité.
Et pourtant nombre d’enquêtes réalisées à la veille du jour du vote, avec ce protocole, ce taux de réponse si faible et cette méthode d’échantillonnage, ont conduit à des résultats très proches des résultats réels des élections. La raison principale est que les échantillons représentaient le mieux possible la population qui allait réellement voter : « les exprimés ». Ces enquêtes n’ont jamais été très pertinentes pour mesurer l’abstention, même si elles donnent des indicateurs intéressants sur les raisons de la non-participation. Le contre-exemple peut être les sondages des primaires où le corps électoral ne pouvait être connu et pour lesquels les instituts ont imaginé des questions filtres qui se sont avérées non suffisamment pertinentes.
Alors à un mois de l’élection présidentielle, les intentions de vote publiées quotidiennement nous donnent un ordre d’arrivée qui pourrait être totalement bouleversé tant la campagne électorale rend les électeurs perplexes, voire les met en colère. L’indécision est à ce point forte que la définition-même du corps électoral est difficile. En général, les Français se déplacent massivement pour voter à ce scrutin majeur. Mais s’il devait en être autrement les sondages actuels ne mesureraient que l’état d’une opinion virtuelle et qui le resterait. Rappelons qu’en 2002 une forte abstention (28 %) avait provoqué le séisme dont tout le monde se souvient et la pire bérézina « ressentie » pour les sondages. Si a contrario, malgré tous les aléas de cette campagne électorale, les Français votent dans les proportions habituelles, les sondages actuels se vérifieront et il est fort à parier qu’on ne parlera plus dans les media des problèmes des sondages et de la façon dont les Français s’en méfieraient[8]. Jusqu’aux prochaines législatives à peine quelques semaines plus tard.
[1] Frédéric Bon, Les sondages peuvent-ils se tromper, Paris, Calmann-Lévy, 1974.
[2] Frédéric Bon ouv.cit p164
[3] http://www.arcep.fr/index.php?id=8571&no_cache=1&tx_gsactualite_pi1%5Buid%5D=1890&tx_gsactualite_pi1%5BbackID%5D=26&cHash=807cca1649139e95c25f77398109592b
[4] http://www.people-press.org/methodology/collecting-survey-data/the-problem-of-declining-response-rates/
http://www.people-press.org/2012/05/15/assessing-the-representativeness-of-public-opinion-surveys/
[5] http://www.pollingreport.com/wh16gen.htm
[6] Le panel électoral du CEVIPOF, administré par téléphone par IFOP, a également été parallèlement administré en ligne, avec les mêmes questionnaires par OpinionWay. Les résultats ont été convergents sur les questions d’intentions de vote. Les reconstitutions des votes passés se sont avérées meilleures par Internet. L’expérience a été rééditée en administrant l’enquête postélectorale du CEVIPOF à la fois en ligne et par téléphone.
Boy, D et Chiche, J (2012), L’impact du mode d’administration dans les sondages électoraux
http://sondages2012.ensai.fr/wp-content/uploads/2011/01/Communication_Boy_Chiche.pdf
[7] Baromètre du numérique : Edition 2015. Conseil général de l’économie, de l’industrie de l’énergie et des technologies. ARCEP : Rapport du CREDOC par : Lucie Brice, Patricia Croutte, Pauline Jauneau-Cottet, Sophie Lautié
[8] OpinionWay administre pour Délits d’opinion un baromètre « les Français et les sondages » dont les résultats sont passionnants :
http://delitsdopinion.com/societe/1ere-vague-du-barometre-les-francais-et-les-sondages-21770/
Aucun commentaire
Vous devez être connecté pour laisser un commentaire. Connectez-vous.