Le 24 septembre 2007, le rapport de l’Inspection générale des affaires sociales et de l’Inspection générale des finances, commandé le 20 juin dernier par le cabinet du premier ministre, a été rendu public. Auparavant, quelques fuites dans la presse avaient suggéré un faible recalage du taux de chômage : 8,3% pour Les Echos, 8,4% selon Le Monde, qui citait « le ministère de l’emploi ». Ces journaux omettaient de dire que l’alignement sur la définition Eurostat du chômage BIT peut suffire à réduire de presque un point le taux de chômage affiché. A la décharge des médias et de leurs sources, peut-être mal informées, il faut reconnaître que le rapport n’explicite pas forcément les effets de ce détail technique avec ce style clair et tranché qu’il a sur d’autres questions.

Pour en venir au rapport, la plupart de ses préconisations sont novatrices et rejoignent des préoccupations largement partagées : déconnexion du suivi du chômage par rapport au suivi des demandeurs d’emploi inscrits à l’ANPE, refonte des indicateurs ANPE dans le sens d’une plus grande pertinence des catégories d’inscription, affichage des statistiques administratives pour ce qu’elles sont, amélioration de la précision de l’enquête Emploi par un doublement de la taille de l’échantillon, mise en place de nouveaux indicateurs pour mieux suivre la complexité du marché du travail. Malgré cela, il peut laisser un sentiment de malaise parce qu’il est curieux et paradoxal à plus d’un titre : par sa nature, ses analyses et ses conclusions.

Une nature paradoxale

Le rapport peut d’abord sembler paradoxal par sa nature. L’État dispose de corps spécialisés dans l’information et la méthodologie statistique, qui comprennent un corps d’inspection : l’inspection générale de l’Insee. Mais c’est l’inspection générale des finances (IGF) et l’inspection générale des affaires sociales (IGAS) qui ont été saisies par le premier ministre.

A la vue des polémiques en cours, des critiques de certains syndicats et des affirmations de collectifs, il aurait pleinement été dans leurs compétences et dans leur cœur de métier de s’intéresser à de nombreuses questions alors en suspens, sources de suspicions, sans doute parfois légitimes, parfois moins. Par exemple : alors que les différentes sources sur le chômage divergeaient sur le constat, pourquoi, en attendant les conclusions des travaux de diagnostic, n’avoir pas tiré les mêmes conséquences en terme de publication ? Plus en amont, comment ont été décidés les changements de mode de gestion de la liste des demandeurs d’emploi ? Quelles sont les raisons qui justifient les choix faits, notamment pour l’affectation des demandeurs d’emploi dans telle ou telle catégorie d’inscription ? Comment l’information a-t-elle circulé entre les différents acteurs (ANPE, statistique publique…) ? D’où viennent les fuites d’informations sur les chiffres du chômage et de l’emploi ? Qui est derrière les sources « ministère de l’emploi » citées par certains journaux bien renseignés ? Dans quel but donnaient-elles des informations privilégiées, a priori confidentielles, à certains médias ? Les sentiments de pression ou de manipulations suggérés par certains communiqués syndicaux sont-ils fondés ? etc.

Mais les rapporteurs des deux inspections n’ont pas été saisis de cela. Leur sujet ? Les questions méthodologiques. Pourquoi il y a-t-il eu un écart important entre le chômage mesuré par l’enquête Emploi et les estimations basées sur les statistiques de l’ANPE ? Est-ce explicable ? Est-ce un problème de qualité ou de biais de l’une ou l’autre source, ou des deux ? Etc. Ces questions sont aussi importantes puisqu’elles sont au cœur de la décision du report du recalage, mais ces questions sont, peut-être, moins dans le cœur de métier de l’IGF et de l’IGAS, dont la mission est de surcroît très courte. Alors que les statisticiens publics, a priori spécialistes en méthodologie statistique, travaillaient depuis plusieurs mois sur la question et avaient annoncé qu’il leur faudrait jusqu’à l’automne pour clarifier la situation (une réunion du CNIS a été programmée à cet effet pour le 30 novembre), c’est en un mois que la mission était, initialement, chargée de faire son diagnostic. Dans ce contexte, et sans mettre en cause les compétences des uns et des autres, compte tenu de la technicité des sujets abordés dans le rapport, un problème d’affichage peut se poser vis-à-vis des spécialistes et des chercheurs. Quelle légitimité peuvent-ils accepter d’accorder au diagnostic présenté, surtout quand l’argumentation utilise des informations non publiées, donc, d’une certaine manière, non « validées » par la statistique publique ? Quel degré de crédibilité peuvent-ils donner au rapport alors qu’il utilise des données qu’eux-mêmes n’utilisent pas parce qu’ils pensent qu’elles posent problème, par exemple les indicateurs BIT des premiers trimestres 2002 de l’enquête Emploi en continu ?

Une analyse paradoxale

Cette difficulté de positionnement dans le champ méthodologique se retrouve dans la façon de conduire les analyses. Il ne s’agit pas ici de rentrer dans le détail des argumentations. D’abord, parce que sur bien des points, les spécialistes sont les plus aptes à le faire. Ensuite, parce qu’il est difficile de se prononcer sur des éléments que la statistique publique n’a pas encore validés. La démarche générale retenue peut toutefois poser question sur au moins deux points : le choix de centrer les analyses sur les variations trimestrielles de l’enquête Emploi et la critique systématique de l’enquête Emploi.

Sur le premier point, l’enquête Emploi était utilisée en moyenne annuelle et c’est donc l’écart entre la moyenne annuelle 2006 du chômage mesuré par l’enquête et la moyenne annuelle résultant de l’estimation provision mensuelle qui suscita des interrogations légitimes, auxquelles il s’agissait de répondre. Pourtant, l’essentiel du discours du rapport semble se construire sur une analyse de la validité des chiffres trimestriels de l’enquête, donc d’indicateurs que la statistique publique n’avait jamais mis en avant auparavant. Notons toutefois que, si utiliser l’enquête Emploi 2002 permet de soutenir le diagnostic de problèmes récurrents, l’utilisation des seules enquêtes valides ne montre pas de décrochage entre le diagnostic « enquête Emploi » et le diagnostic « ANPE » avant le courant de l’année 2005, confortant l’idée d’un biais lié à des effets de gestion et d’accompagnement des demandeurs d’emploi.
Le rapport avance l’imprécision de l’estimation trimestrielle. Il aurait également pu mettre plus nettement en avant le fait que l’écart entre le taux de chômage « enquête Emploi » et le taux de chômage provisoire, estimé à partir du nombre d’inscrits à l’ANPE, est persistant sur au moins six trimestres consécutifs, avec la même ampleur, de l’ordre d’un point, ce qui peut rendre robuste le diagnostic tiré de l’enquête Emploi, à savoir celui d’une baisse du chômage deux fois moins forte qu’estimée entre mi 2005 et fin 2006.

Concernant le second point, la lecture du rapport peut donner l’impression d’une grande prudence et d’un sens de la nuance aiguë lorsqu’il s’agit de chiffrer les biais qui peuvent être induits par les changements de mode de gestion et d’accompagnement des inscrits à l’ANPE. Cela peut donner le sentiment d’une minimisation des impacts qui contraste avec une tonalité qui paraît moins nuancée et plus systématique dans la critique de l’enquête Emploi. Or, sur cette question aussi, chacun peut établir son propre diagnostic. La statistique, comme l’économie, est une science sociale. Son outillage technique ne suffit pas à en faire une science exacte. L’estimation certaine n’existe pas. Les conditions de collecte de l’information, le choix de la méthode de correction de la non réponse jouent ici, tout comme les hypothèses sous-jacentes à la méthodologie employée ou à la modélisation des comportements jouent en économie. Produire un résultat à partir d’un protocole établi ou d’une méthodologie éprouvée ne suffit pas à en faire un chiffre vrai. Il faut aussi qu’il soit vraisemblable, c’est-à-dire cohérent avec d’autres résultats, trouvés par d’autres approches, avec d’autres sources, ou qu’il soit explicable. C’est là que la part de subjectivité du statisticien, en fonction de ce qu’il sait, de ce qu’il pense, de ce qu’il est, peut jouer.

Mettre en avant de façon systématique toutes les difficultés rencontrées (l’intervalle de confiance, les biais de non réponse, etc.) pour remettre en cause la qualité finale d’une enquête n’est pas une démarche neutre. Le protocole de l’enquête Emploi en continu a certes été choisi sous contrainte, comme toujours : contraintes budgétaires, organisationnelles, européennes (Eurostat), mais après des travaux d’expertises, qui ont donné lieu à des présentations (par exemple, aux Journées de Méthodologie Statistique) et des publications (par exemple, dans Economie et statistiques). C’est l’une des plus grosses enquêtes de la statistique publique, avec l’un des meilleurs taux de réponse. En adoptant une démarche analogue à celle retenue dans le rapport pour établir son diagnostic qualité sur l’enquête Emploi, l’ensemble des productions de la statistique publique pourrait être remis en cause. Pour ne prendre qu’un seul exemple, prenons les enquêtes sur les effets du contrat nouvel embauche (CNE). Quelle taille d’échantillon ? Quelle précision ? Quel taux de non réponse ? Quel biais de non réponse ?

Des conclusions paradoxales

Enfin, le rapport peut sembler paradoxal par ses conclusions. Il préconise d’abandonner la méthode habituelle d’estimation mensuelle du taux de chômage qui s’appuie sur les statistiques de l’ANPE et sur un recalage annuel sur l’enquête Emploi. Il recommande de privilégier l’utilisation de la seule enquête Emploi pour le suivi du chômage et de renvoyer les statistiques sur les demandeurs d’emploi en fin de mois (DEFM) à ce qu’elles sont : de simples statistiques administratives de gestion d’un service public important. Il suggère en particulier à leur sujet de préciser « inscrits à l’ANPE » dans leur dénomination, de les publier sous le seul timbre de l’ANPE, de prendre en compte tous les inscrits, quel que soit le type d’emploi recherché et de redéfinir des catégories administratives pertinentes. A l’appui de ces préconisations, le rapport rappelle que les évolutions récentes des statistiques de l’ANPE ont été perturbées par plusieurs changements dans la façon de compter et de suivre les demandeurs d’emploi.

En disant cela, les rapporteurs rejoignent les conclusions des « États généraux des chiffres du chômage et de la précarité » organisés le 29 mai 2007 à l'appel des syndicats du Ministère de l’emploi, du Centre d’études de l’emploi (CEE), de l'ANPE, de l'Insee, du collectif « Les autres chiffres du chômage » (ACDC) et de plusieurs associations. Mais dans le même temps, le rapport semble aussi valider des positions inverses en remettant en cause de façon appuyée la qualité de l’enquête Emploi et en soulignant dans ses conclusions que les statistiques de l’ANPE restent « indispensables au suivi conjoncturel du marché du travail ».

D'une lecture rapide, le lecteur peut alors retenir que le système actuel d'estimation devrait être abandonné au profit d'une enquête Emploi de médiocre qualité - qu'il faudrait donc revoir en profondeur. Il faudrait préférer l'enquête Emploi parce que les statistiques administratives donneraient une vision faussée de l'évolution conjoncturelle du chômage, mais elles resteraient pourtant indispensables pour suivre cette évolution. Bref, en schématisant, il peut craindre la schizophrénie, comme si le rapport avait été écrit à deux mains, l’une privilégiant les conclusions tirées de l’enquête Emploi sur les évolutions récentes du chômage ; l’autre pensant que c’est surtout l’enquête Emploi qui pose problème et préférant alors les analyses tirées des statistiques de l’ANPE. Tiraillé entre ces deux mouvements, comment conclure sur l’évolution conjoncturelle réelle du chômage en 2005-2006 ?

Tous ces paradoxes ne sont peut être qu’apparents. Ils émergent surtout si le but du rapport est d’établir un vrai diagnostic méthodologique, c’est-à-dire un diagnostic partagé par les spécialistes ; c’est-à-dire, aussi, un diagnostic conclusif sur les évolutions récentes du chômage, pour pouvoir dire ensuite quels outils en rendent le mieux compte.

Mais il faut se souvenir que la commande du rapport s’inscrit au cœur d’un débat public et politique intense. Si son objectif est d’abord d’y mettre un terme, les exigences ne sont plus les mêmes. Dans ce cas, on ne s’adresse plus à des spécialistes mais à l’opinion publique et aux médias, moins au fait des questions de méthode. En reprenant les avis des uns et des autres, on peut afficher des conclusions en apparence consensuelles, même lorsqu’elles se fondent sur des diagnostics techniques divergents. En le sortant des institutions concernées, on affiche une neutralité du diagnostic. D’un discours de la méthode, on passe alors à un outil de communication politique, face auquel un ancien de l’ENSAE devient alors bien démuni pour émettre un avis.

Encadré 1 : Les informations validées disponibles

Cet encadré a été bouclé, le jour de l’Armistice, à partir des informations disponibles à cette date. L’Insee a publié le 12 novembre des résultats validés de l’enquête Emploi 2006 (avec quelques changements de méthodes). Ces résultats invalident l’évolution du chômage estimée à partir des statistiques de l’ANPE sur la période 2005-2006 (cf. graphique). Un diagnostic plus complet doit être présenté au CNIS à la fin du mois de novembre.
A la date de publication du rapport, les seules informations techniques disponibles validées par la statistique publique sont celles qui ont été présentées et débattues lors de la réunion du CNIS du 8 mars 2007, ainsi qu’un document de travail de la Dares publié au cours de l’été (Etienne Debauche, Thomas Deroyon, Fanny Mikol et Hélène Valdelièvre, n°128). Sa synthèse résume bien la question posée : « En 2006, pour la première fois, des indicateurs qui rendent compte en principe de la même réalité ont divergé fortement. Selon les résultats de l'enquête Emploi pour 2006, le taux de chômage serait au même niveau en moyenne annuelle qu'en 2005, soit 9,8 %. Selon l'estimation provisoire mensuelle fondée sur les statistiques de demandeurs d'emploi, le taux de chômage aurait diminué à 9,1 % en 2006. L'ampleur de l'écart entre les deux sources et certaines interrogations relatives à l'enquête Emploi ont conduit l'Insee à reporter la publication de son enquête et l'utilisation de ses résultats pour la mesure du chômage. Certaines modifications dans la gestion des demandeurs d'emploi par le service public de l'emploi (SPE) ont par ailleurs contribué à affecter les statistiques de l'ANPE sans que la réalité du chômage ne soit modifiée. ».

Plus précisément, les statisticiens de la Dares remarquent que la période récente a été marquée par une forte hausse des sorties pour absence au contrôle et des radiations administratives, « dont une partie seulement correspond à des reprises d'emploi non déclarées ». Ils listent ensuite cinq modifications et proposent des chiffrages d’impact pour quatre d’entre elles, prolongeant les premiers travaux, présentés en mars par Philippe Ravalet alors chef de service de la Dares, qui n’avaient alors pu chiffrer que deux changements :
- la mise en place, par les partenaires sociaux, de la convention de reclassement personnalisé, la CRP (biais d’environ -20 000 sur le nombre de DEFM 1+6, ainsi que sur l’estimation mensuelle du nombre de chômeurs fin 2006, après -15 000 fin 2005).
- le report des dates de relance des demandeurs d’emploi n’ayant pas actualisé spontanément leur situation (biais possible compris entre -10 000 et -25 000 fin 2006, après -25 000 à -50 000 fin 2005).
- les classements plus systématiques en catégorie 5 des chômeurs créateurs d’entreprise et des bénéficiaires de contrats aidés (le biais, « estimé avec une grande marge d’incertitude », de -30 000 à -40 000 sur le nombre de DEFM 1+6 fin 2006, après -10 000 à -20 000 fin 2005 ; ampleur « très difficile à apprécier » sur l’estimation mensuelle du nombre de chômeurs).
- la mise en place d’« entretiens » mensuels début 2006 par l’ANPE (biais « plus difficile à estimer », compris entre -15 000 et -30 000 fin 2006).
- La réforme des filières d’indemnisation du chômage de 2003, dont les effets n’ont pas encore pu être chiffrés.

Concernant ce dernier point, la réforme de l’Assurance chômage de 2003 s’est traduite par une réduction drastique des filières d’indemnisation. En particulier, les anciens salariés de moins de 50 ans qui ont travaillé au moins 14 mois au cours des 24 derniers mois et qui bénéficiaient depuis 1992 de 30 ou 45 mois d’indemnisation selon les cas, ne bénéficient plus que de 23 mois d’indemnisation. Le nombre de demandeurs d’emploi arrivant en fin de droit a fortement augmenté au cours de l’année 2005. Cette année là, le nombre de chômeurs indemnisé a reculé trois fois plus vite que le nombre d’inscrits à l’ANPE, « principalement, [à cause du] resserrement des conditions d’indemnisation » (Point statis n° 24, novembre 2006). La moitié des chômeurs n’est pas indemnisé donc l’arrivée en fin de droits n’entraîne pas forcément une sortie des listes et encore moins une reprise d’emploi. Mais certains demandeurs d’emploi cessent de s’inscrire quand leur indemnisation s’arrête, par exemple quand ils se sentent suffisamment autonome pour chercher un emploi sans entrer dans un suivi ANPE qu’ils peuvent ressentir, au mieux comme inutile, au pire comme un carcan. Ceux-là peuvent sortir des listes en restant chômeurs pour l’enquêteur de l’enquête Emploi. Reste à savoir dans quelles proportions.

Concernant l’enquête emploi, un biais de rotation significatif a été mis en évidence depuis l’origine (cf. tableau). L‘évolution récente des taux de non réponse, notamment en Ile-de-France (cf. tableau) a également suscité des interrogations, dans la mesure où elle pourrait s’accompagner d’une évolution des biais de non réponse. L’évolution du chômage issue du l’enquête Emploi et celle estimée avec le nombre d’inscrits à l’ANPE ont également été confrontée à celle mesurée, avec un concept différent, par l’enquête annuelle de recensement (l’évolution 2006 devrait être présentée au CNIS le 30 novembre et devrait donc être connue à la date de publication de Variances).