Les sondages sont-ils tous égaux ? Modes d’administration et bases de sondage dans l’élection présidentielle américaine de 2020

Abstract

English

Résumé

À l’aube de l’élection présidentielle américaine de 2024, il est essentiel de se pencher sur ce qui s’est passé en 2020. Cinquante-et-un instituts ou organisations ont conduit 222 sondages indépendants du 1er septembre jusqu’à la veille du vote, le 3 novembre 2020. Ces sondages ont présenté les plus grands écarts avec le vote depuis 1996 et la plus importante disparité entre les différents modes d'administration depuis 2008. Nous avons classé les sondages en trois catégories en fonction de leur mode d’administration et de leur base de sondage : mixtes, combinant plus d’un mode d’administration (16%), à mode unique utilisant une base aléatoire ou quasi-aléatoire (25%) et web utilisant un access panel (59%). L'analyse utilise des régressions locales pour visualiser l’évolution des appuis durant la campagne, puis des analyses multiniveaux pour valider statistiquement comment les diverses combinaisons de mode et de base de sondage influencent l’estimation de l’évolution des intentions de vote durant la campagne et du vote final. Les analyses révèlent que les sondages à sources d'échantillonnage aléatoires ou quasi-aléatoires (modes mixtes ou uniques) indiquaient une hausse initiale puis une baisse des intentions de vote pour Joe Biden alors que les panels web estimaient que l’intention de vote était stable. Par ailleurs, les sondages mixtes ont mené à une prédiction exacte du vote.

Les analyses des dix derniers jours de campagne confirment globalement ces résultats. Les sondages mixtes et à mode unique quasi-aléatoire sont les plus précis. De plus, l'utilisation de multiples sources d'échantillonnage ou la pondération par scores de propension amènent également de meilleures estimations. Cette étude suggère que différents modes et sources d'échantillonnage rejoignent des segments variés de la population, et que leur combinaison mène à une meilleure estimation de la dynamique électorale. Les sondages web sur invitation, dominants dans l’espace médiatique, ont pu fausser la perception des électeurs. L'article appelle à une surveillance des méthodologies de sondage émergentes pour mieux comprendre leur impact et informer adéquatement la population de l’état de l’opinion publique.

Keywords

analyses multiniveaux Élection présidentielle américaine de 2020 États-Unis méthodologie prédiction électorale régression locale sondages

Get full access to this article

View all access options for this article.

References

Baker

Brick

Bates

, et al. (2013) Report of the AAPOR Task force on non-probability sampling. https://www.aapor.org/Education-Resources/Reports/Non-Probability-Sampling.aspx DOI: 10.1093/jssam/smt008.

Campbell

et Lewis-Beck

(2008) US Presidential forecasting: An introduction. International Journal of Forecasting 24: 189‐192.

Chen

Garnett

et Montgomery

(2022) Polls, context and time: A dynamic hierarchical Bayesian forecasting model for US senate elections. Political Analysis 1‐21. DOI: 10.1017/pan.2021.42

Cleveland

et Devlin

(1988) Locally weighted regression: An approach to regression analysis by local fitting. Journal of the American Statistical Association 83: 596‐610.

Clinton

Agiesta

Brenan

, et al. (2021) AAPOR Task force on 2020 pre-election polling: An Evaluation of the 2020 general election polls. https://aapor.org/wp-content/uploads/2022/11/AAPOR-Task-Force-on-2020-Pre-Election-Polling_Report-FNL.pdf. Accédé Avril 2022.

Collins

(2021) All that glitters is not gold, data for progress, March 11, 2021, https://www.dataforprogress.org/blog/2021/3/11/all-that-glitters-is-not-gold (accédé mars 2023).

Curtice

(1997) So how well did they do? The polls in the 1997 election. Journal of the Market Research Society 39: 449‐461.

Durand

(2008a) La méthodologie des sondages électoraux de l’élection présidentielle française de 2007; Chroniques d’un problème recurrent. BMS, 97: 5‐17.

Durand

(2008b) The polls of the 2007 French presidential campaign: Were lessons learned from the 2002 catastrophe? International Journal of Public Opinion Research, 20 (3), 275‐298.

10.

Durand

et Blais

(2020) Quebec 2018: A failure of the polls? Canadian Journal of Political Science/Revue Canadienne De Science Politique 53(1): 133‐150.

11.

Durand

Blais

et Larochelle

(2004) The polls of the 2002 French presidential election: An autopsy. Public Opinion Quarterly 68(4): 602‐622.

12.

Durand

Deslauriers

et Valois

(2015) Should recall of previous votes be used to adjust estimates of voting intention? Survey insights: methods from the field, weighting: Practical Issues and ‘How to’ approach. Retrieved from https://surveyinsights.org/?p=3543, DOI:10.13094/SMIF-2015-00002.

13.

Durand

et Goyder

(2018) Do polls influence the vote? Disponible sur SSRN: https://ssrn.com/abstract=4522042 or http://dx.doi.org/10.2139/ssrn.4522042.

14.

Durand

Goyder

Daoust

et Blais

(2018) Les sondages influencent-ils le comportement des électeurs ? Options politiques, May 2018. https://policyoptions.irpp.org/magazines/may-2018/les-sondages-influencent-ils-le-comportement-des-electeurs/

15.

Durand

et Johnson

(2021) What about modes? Differences between modes in the 21st century’s electoral polls. Public Opinion Quarterly 85(1): 183‐222.

16.

Enns

et Rothschild

(2021) Revisiting the ‘Gold Standard’ of polling: New methods outperformed traditional ones in 2020, 3Streams, https://medium.com/3streams/revisiting-the-gold-standard-of-polling-new-methods-outperformed-traditional-ones-in-2020-451650a9ba5b, March 18, 2021 (accédé mars 2023).

17.

Erikson

et Wlezien

(1999) Presidential polls as time series. The case of 1996. Public Opinion Quarterly 63(2): 163‐177.

18.

Erikson

et Wlezien

(2020) Forecasting the 2020 presidential election: Leading economic indicators, polls, and the vote. Politics Symposium January 2021: 55‐58. DOI: 10.1017/S1049096520001481.

19.

Hox

(2010) Multilevel analysis. Techniques and applications, second edition New York: Routledge.

20.

Jacoby

(2000) Loess: A nonparametric, graphical tool for depicting relationships between variables. Electoral Studies 19: 577‐613.

21.

Jennings

et Wlezien

(2018) Election polling errors across time and space. Nature Human Behaviour 2: 276‐278.

22.

Jowell

Hedges

Lynn

, et coll. (1993) The 1992 British election: The failure of the polls. Public Opinion Quarterly 57(2): 238‐263.

23.

Keeter

Kennedy

et Deane

(2020) Understanding how 2020 election polls performed and what it might mean for other survey work. Pew Research Center, November 13, 2020. Accédé avril 2022. https://www.pewresearch.org/fact-tank/2020/11/13/understanding-how-2020s-election-polls-performed-and-what-it-might-mean-for-other-kinds-of-survey-work (accédé avril 2022).

24.

Kennedy

Blumenthal

Clement

Clinton

Durand

Franklin

McGeeney

Miringoff

Olson

Rivers

Saad

et Witt

(2018) An evaluation of 2016 election polls in the United States. Public Opinion Quarterly 82(1): 1‐33.

25.

Kennedy

Blumenthal

Clement

Durand

Franklin

McGeeney

Miringoff

Olson

Rivers

Saad

et Witt

(2017) An evaluation of 2016 election polls in the US AAPOR ad hoc committee on 2016 election polling. https://www.aapor.org/Education-Resources/Reports/An-Evaluation-of-2016-Election-Polls-in-the-U-S.aspx (accédé avril 2022).

26.

Kennedy

Popky

et Keeter

(2023) How public polling has changed in the 21st century. Pew Research Center, https://www.pewresearch.org/methods/2023/04/19/how-public-polling-has-changed-in-the-21st-century/ (accédé mars 2023).

27.

Lavrakas

Pennay

Neiger

et Philipps

(2022) Comparing probability-based surveys and nonprobability online panel surveys in Australia: A total survey error perspective. Survey Research Methods 16(2): 242‐266.

28.

Legleye

Chauvet

Merly-Alpa

Soullier

et Vanheuverzwyn

(2023) Qui sont les membres des access panels ? Une analyse à partir de TIC. Document présenté lors du Colloque francophone sur les sondages, Paris, mars 2023.

29.

Lewis-Beck

(2005) Election forecasting: Principles and practice. British Journal of Politics and International Relations 7: 145‐164.

30.

Loader

(1999) Local regression and likelihood. New York: Springer.

31.

Panagopoulos

(2021) Accuracy and Bias in the 2020 US general election polls. Presidential Studies Quarterly 51(1): 214‐227.

32.

Panagopoulos

Endres

et Weinschenk

(2018) Pre-election poll accuracy and bias in the 2016 US general elections. Journal of Elections, Public Opinion and Parties 28(2): 157‐172.

33.

Pennay

Goot

Neiger

Trewin

Lavrakas

Stirton

Hughes

Sheppard

et McAllister

(2020) Report of the inquiry into the performance of the opinion polls at the 2019 australian federal election. Association of the Market and Social Research Organizations and the Statistical Society of Australia. https://www.amsro.com.au/wp-content/uploads/2020/11/Inquiry_into_the_Performance_of_the_Opinion_Polls_at_the_2019_Australian_Federal-Election-Final_report.pdf (accédé avril 2022).

34.

Pennay

Misson

Neiger

et Lavrakas

(2023) How weighting by past vote can improve estimates of voting intentions. Survey Practice, 16(1). https://doi.org/10.29115/SP-2023-0001

35.

Pickup

et Johnston

(2008) Campaign trial heats as election forecasts: Measurement error and bias in 2004 presidential campaign polls. International Journal of Forecasting 24: 272‐284.

36.

Silver

(2021) The death of polling is greatly exaggerated. Five Thirty-Eight March 25, 2021. https://fivethirtyeight.com/features/the-death-of-polling-is-greatly-exaggerated/ (accédé avril 2022).

37.

Skelley

et Rakich

(2020) What pollsters have changed since 2016 — And what still worries them about 2020, Five Thirty-Eight October 13, 2020. https://fivethirtyeight.com/features/what-pollsters-have-changed-since-2016-and-what-still-worries-them-about-2020/ (accédé avril 2022).

38.

Smalley

et Wolf

(2022) Building a framework for mode effect estimation in United States presidential election polls. Statistics, Politics and Policy 13(1): 41‐56.

39.

Snijders

TAB

et Bosker

(2012) Multilevel analysis. An introduction to basic and advanced multilevel modeling, Second edition London: Sage.

40.

Sohlberg

Gilljam

et Martinsson

(2017) Determinants of polling accuracy: The effect of opt-in internet surveys, Journal of Elections, Public Opinion and Parties 27(4): 433‐447.

41.

Stephenson L

et Crête

(2011) Studying political behavior: A comparison of internet and telephone surveys. International Journal of Public Opinion Research 23(1): 24‐55.

42.

Sturgis

Kuha

Baker

Callegaro

Fisher

Green

Jennings

Lauderdale

et Smith

(2018) An assessment of the causes of the errors in the 2015 UK general election opinion polls, Journal of the Royal Statistical Society A, Part 3: 757‐781.

43.

Wlezien

et Erikson

(2004) The fundamentals, the polls and the presidential vote. PS: Political Science and Politics: 37(4): 747–751.

44.

Zucchini

(2003) Applied smoothing techniques, Part 1: Kernel density estimation. Unpublished manuscript. Available at: http://staff.ustc.edu.cn/∼zwp/teach/Math-Stat/kernel.pdf.