« Il y a deux sortes de mensonges : le parjure et la statistique »
Benjamin Disraeli

« Il se sert de la statistique comme un ivrogne se sert d’un lampadaire,
pour s’y appuyer et non pas pour s’éclairer »
Andrew Young

L’un des objectifs majeurs de l’observation statistique est de mesurer, quantifier les divers aspects d’un phénomène, pour ensuite essayer de les comprendre, les expliquer, les modéliser pour – éventuellement – les contrôler dans les meilleurs des cas. Naissent alors des indicateurs, dont les résultats chiffrés fleurissent allègrement dans un monde en recherche constante d’informations de toutes sortes.

La prolifération de chiffres, d’indicateurs, dans tous les domaines, accessibles à tous, et donc à des non-spécialistes, nécessite que les statisticiens expliquent encore et toujours, et de mieux en mieux, leurs modes d’emploi et garde-fous, et en premier lieu, les limites attachées, par construction, à un résultat d’échantillonnage.

Mais, nous allons le voir, ce n’est pas le seul point sur lequel nous avons à intervenir. Nous-mêmes avons des questions à nous poser sur notre rôle et sur les évolutions des dispositifs qui transmettent de l’information.

Retour sur la précision

Que veut dire un chiffre issu d’un échantillon ? Nous savons tous répondre rapidement à ce genre de question, souvent posée à posteriori, en utilisant notre savoir-faire statistique. Nous rappelons alors que tout résultat fondé sur un échantillon est muni d’une précision ; nous sortons de nos manches une variance, un écart-type, un intervalle de confiance à 95 %. Mais notre interlocuteur, souvent peu ou pas expert en statistique, nous comprend-il ? Savoir qu’un résultat est « entaché d’une marge d’erreur », quand bien même celle-ci est affublée du doux et poétique nom d’intervalle de confiance ou d’écart-type, est-il vraiment rassurant pour le profane ?

Il nous faut expliquer, combattre le doute et, par exemple, faire comprendre d’abord que la notion d’écart-type ou de variance n’a rien à voir a priori avec le concept d’échantillon. Dans l’observation exhaustive d’une variable sur une population, la variance est simplement la mesure de la plus ou moins grande homogénéité autour du comportement moyen de la population étudiée relativement à cette variable : est-elle dispersée ou concentrée, y a-t-il dissemblance ou ressemblance ? Quand un résultat est fondé sur un échantillon, il revient au statisticien de rappeler qu’il faut sans cesse se souvenir que sa variance dépend certes du nombre des observations, mais aussi de la plus ou moins grande homogénéité de la population étudiée : obtenir un résultat précis sur un sujet d’étude peu variable n’est pas vraiment un exploit.

Quant à la notion d’intervalle de confiance, ou de marge d’erreur (quelle appellation malheureuse !), combien se souviennent, ou savent, que cela signifie simplement que si l’on tirait 1000 échantillons parfaitement identiques en taille, structure, processus de sélection, etc., la valeur du paramètre recherché serait située 950 fois dans cet intervalle, et 50 fois en dehors. Encore moins nombreux sont ceux qui, au delà, ont également à l’esprit qu’il existe aussi des mécanismes dénommés lois de probabilité et que, conformément à ces lois, tous les points situés dans un intervalle de confiance ne sont pas tous équivalents : nous avons certainement tous connu la situation dans laquelle, calculant une estimation d’un paramètre à 11,5 et un intervalle de confiance associé (11 – 12), nous nous entendons
dire de manière tout à fait ingénue par la même voix qui nous demandait un chiffre (pour faire) sérieux : « je peux donc prendre la valeur 11, elle m’arrange mieux ».

L’influence des conventions

Les codes de bonne utilisation d’un résultat chiffré, fondés sur la précision de celui-ci, concernent directement la partie mathématique du métier de statisticien, et renvoient au bon usage d’un indicateur. Ils se situent donc en aval de la chaîne d’observation d’un phénomène. Il est tout aussi nécessaire d’évaluer l’influence de décisions prises en amont du processus d’étude et plus encore d’en avoir conscience. Quel que soit le sujet à étudier, bâtir un système d’informations – au sens général et non informatique du terme – soulève généralement quatre grandes questions :
- Quoi : que veut-on observer précisément ?
- Comment : quelle est la procédure de recueil ?
- Auprès de qui : c’est le domaine de la théorie des sondages et de l’échantillonnage
- Validité : les résultats obtenus sont-ils conformes ?

Ainsi, aborder une problématique n’est pas forcément simple. Sans parler des termes très subjectifs choisis pour telle ou telle question d’actualité, on retrouve ces problèmes de définition et d’appréciation au cœur même de tout indicateur.

Définir une mesure, quelle qu’elle soit, cela conduit fréquemment à préciser des termes ou des concepts sur lesquels on ne s’était souvent jamais interrogés.

Un premier exemple bien connu concerne les études sur l’emploi ou l’activité, qu’elles émanent des instituts nationaux de statistique, surtout, ou bien des sociétés privées. Que signifient donc les mots travail ou travailler ? Plusieurs sens peuvent exister a priori. Il est possible d’en avoir une vision économique, travail signifiant avoir une contribution à la richesse nationale ; ou encore prendre une approche juridique, comme la possession d’un contrat de travail, dont il conviendrait éventuellement de préciser la nature. On pourrait également avoir une approche de temps contraint ou disponible : un étudiant, présent au moins huit heures par jour à l’Université, travaille-t-il ? La femme d’un artisan-boulanger tenant régulièrement, mais sans contrat de travail, la caisse de la boulangerie de son époux a-t-elle un travail ? Apparaissent aussi des réflexions sur le temps et la durée : comment qualifier quelqu’un qui a travaillé dix mois sur douze au cours d’une année, mais est au chômage au moment où une enquête est réalisée ? A ces questions, pas forcément si naïves que cela, ont bien sûr été apportées des réponses, dont l’objet est de parfaitement déterminer le périmètre à analyser, éviter toutes les causes de flou.

Deuxième exemple : qu’est-ce qu’un téléspectateur ?

J’avoue très modestement que je ne m’étais jamais posé cette question avant d’entrer à Médiamétrie et être confronté à la mesure d’audience. Etre téléspectateur est-il la conséquence d’une déclaration personnelle, subjective, ou bien la résultante d’une définition objective ? Il est évident u’une approche neutre, intrinsèque, sera préférable à toute notion ne dépendant que du jugement de la personne interrogée. Il faut éviter que deux personnes placées dans la même situation ne fournissent des appréciations divergentes.

L’ensemble du marché intéressé par la mesure d’audience – médias, régies, agences, annonceurs – s’est mis d’accord sur la formulation suivante : un téléspectateur est une personne présente dans une pièce où se trouve un téléviseur allumé diffusant des programmes en mode broadcast.

Cette définition ne souffre d’aucune interprétation personnelle possible. Elle est objective, et n’a par ailleurs aucune prétention de perfection. Plus qu’une définition, c’est seulement une convention permettant un comptage. Suivre une émission par le son depuis une pièce voisine n’est pas « regarder la télé ». Regarder une émission enregistrée sur un magnétoscope ou un lecteur DVD non plus.

La simple lecture de la définition du téléspectateur, et l’évolution des vecteurs de réception de la télévision, montrent qu’elle aura besoin d’évoluer, puisque l’on peut maintenant regarder des programmes TV sur un écran de micro-ordinateur, de téléphone mobile, de console, etc…

Pour aller plus loin, le champ de la mesure d’audience TV repose sur d’autres conventions : l’observation est restreinte aux résidences principales, aux ménages (anciennement qualifiés d’ « ordinaires » par l’INSEE), c’est-à-dire que les ménages collectifs (foyers d’étudiants ou de travailleurs, cafés, restaurants, hôtels, …) ne sont pas pris en compte, pas plus que les résidences secondaires ; et seul le comportement des personnes de plus de 4 ans fait l’objet d’un suivi.

Nous savons tous que ces conventions, prises en amont du recueil statistique, sont nécessaires pour bien définir et préciser le périmètre du champ à étudier. Nul ne pourra nier qu’elles ont, à l’évidence, un impact sur les valeurs numériques des indicateurs synthétiques qui seront élaborés par la suite.

Faire connaître cette importante étape de réflexion sur les conventions est une contribution majeure au bon usage d’un résultat, au même titre que le calcul de sa précision statistique.

Un chiffre : n’importe lequel, mais un chiffre !

Nous vivons, c’est un fait, dans un monde de plus en plus quantitatif. Pour la corporation des statisticiens, c’est plutôt un bien et un élément de reconnaissance, même s’il a parfois fallu abandonner cette appellation pour celle de « dataminer », ce qui fait, reconnaissons-le, tellement plus sérieux !

La volonté même de vouloir appuyer toute opinion ou tout dossier préparatoire à une décision par un ou des chiffres rend encore plus forte la nécessité d’expliquer les modes de bon usage de ceux-ci. Et ce d’autant plus que le chiffre et ses commentaires masquent largement la façon dont il a été conçu ou calculé.

Avec l’émergence d’Internet depuis 1996, on a ainsi vu fleurir les « consultations sur internet », qui permettent de recueillir des informations ou des opinions. Le coût en est peu élevé, ce qui est souvent une justification méthodologique suffisante, avec la rapidité de mise à disposition et la qualité graphique des restitutions et des mises en forme.

De plus en plus de colloques scientifiques abordent la question de la pertinence de ce type d’interrogation, ou plus exactement de savoir pour quel type d’étude ces enquêtes web peuvent être pertinentes. Très souvent, les utilisateurs émettent peu de jugement critique sur les méthodes : ont-ils conscience qu’environ 50 % de la population résidant en France n’est pas internaute, que les internautes présentent un profil particulier ? Que peut-on dire de l’échantillon des répondants ? Les échantillons de répondants sont-ils redressés, et si oui comment et sur quelle structure ? Quelle est la validité d’une extrapolation globale à partir d’un « web-survey » ? Que représente pour eux le respect de considérations statistiques ; est-ce vraiment une qualité, en perçoivent-ils l’intérêt, ou n’est-ce qu’un facteur de coût ?
Ces questions ne se poseront certes plus lorsque la quasi-totalité de la population sera interrogeable par le net, mais nous n’y sommes pas encore…

Echantillon ou exhaustif ?

L’histoire de la science statistique montre que l’introduction de l’échantillonnage et de la logique inférencielle sont, somme toute, récents. Bien que quelques tentatives aient existé dès le XVIIIème siècle – voir les travaux de l’école dite de « l’arithmétique politique anglaise » –, la « pars pro toto » apparaît de façon formelle et structurée en 1895.
Après un rejet plutôt violent de la majorité dela communauté des statisticiens, c’est seulement en 1925 que la Commission Jensen, au sein de l’Institut International de Statistique, rendra hommage à cette approche et reconnaît l’intérêt de la « méthode représentative ». Le concept de recensement, observation exhaustive de toutes les unités de la population, perd alors peu à peu sa prédominance, jusqu’à pratiquement disparaître.

Pourtant, les techniques modernes utilisant le protocole IP en permettent le retour dans certains contextes. A titre d’illustration, c’est le cas avec les voies de retour « Return Path Data » qui permettent de faire remonter pratiquement en temps réel et de façon exhaustive des informations sur les flux transitant par les box ADSL ou autres dispositifs de ce type. A côté d’échantillons de foyers et d’individus disposant d’un boîtier ADSL, autorisant des analyses détaillées de comportement au niveau de catégories sociodémographiques, nous allons probablement voir apparaître des comptages moins fins mais exhaustifs (dénombrement des boîtiers activés sur telle application).

Se posera alors nécessairement la question d’une réflexion sur la valeur d’utilité de la finesse des résultats et de leur précision. La question de la pertinence des sujets, de leurs contours et de l’utilisation des résultats a, quant à elle, toujours de beaux jours devant elle !

Philippe Tassi (1972) est DGA de Médiamétrie