Depuis le modèle fondateur de Rubin, en 1974, un certain nombre d’outils économétriques ont été développés pour répondre aux besoins de l’évaluation des effets des politiques publiques, à partir de données individuelles, donc dans le cadre d’approches microéconomiques. Dans « Les méthodes micro-économétriques d'évaluation et leurs applications aux politiques actives de l'emploi », papier à paraître dans Economie et prévision, Thomas Brodaty, Bruno Crépon (1988) et Denis Fougère en dressent un panorama.

Le principe général consiste à considérer que l’individu, ou l’entreprise, peut bénéficier ou non du « traitement » qu’est la mesure de politique publique. Soit T=1, si l’individu est traité, 0 sinon. La variable d’intérêt (Y), par exemple l’évolution de l’emploi de l’entreprise, se comporte différemment selon que l’entreprise est « traitée » (Y=Y1) ou ne l’est pas (Y=Y0) : Y= T.Y1+(1-T).Y0. L’effet de la mesure est Y1-Y0. Dans l’ensemble de la population, l’ « effet moyen du traitement » est donné par E(Y1-Y0).

Evidemment, on n’observe pas simultanément Y1 et Y0 pour un même individu, puisqu’en pratique, un individu est traité ou ne l’est pas. Pour estimer l’effet de la mesure sur ses bénéficiaires, il faut donc estimer quel aurait été leur comportement en l’absence de traitement. Si le traitement était distribué de façon aléatoire, l’effet moyen du traitement pourrait être estimé par la simple différence entre le comportement moyen des individus traités et le comportement moyen des individus non traités. Mais généralement, ce n’est pas le cas. Par exemple, dans le cas de la réduction du temps de travail, en fonction de leurs caractéristiques, les entreprises n’ont pas eu la même propension à réduire la durée du travail, ni à opter pour le dispositif incitatif et ses contraintes. Une simple comparaison entre entreprises à 35 heures et entreprises restées à 39 heures est alors entachée d’un biais de sélection.

Pour traiter de ce problème, Rubin propose en 1977 d’associer à chaque individu « traité » un individu « non traité » de mêmes caractéristiques, aboutissant ainsi à un estimateur par appariement selon des caractéristiques observables. Rosenbaum et Rubin montre en 1983 qu’on peut faciliter l’exercice en appariant selon un « score de propension » qui résume l’ensemble des caractéristiques (en pratique, il peut s’obtenir en mettant en œuvre un modèle logit expliquant le fait d’être « traité »). Heckman, Ichimura et Todd, dans des papiers de 1997 et 1998 proposent enfin de ne plus comparer l’individu « traité » à un individu « non traité » comparable mais à l’ensemble des « non traités » pondérés selon le degré de ressemblance avec l’individu « traité », utilisant pour cela des fonctions noyau (« Kernel matching »).

Mais les biais de sélection peuvent ne pas résulter uniquement de variables observables. Des variables inobservables (ou non disponibles dans les sources statistiques utilisées) peuvent aussi jouer un rôle, à la fois sur le fait d’être ou non « traité » et sur la variable d’intérêt. Dans le cas des politiques d’emploi, la motivation du demandeur d’emploi ou ses difficultés d’expression peuvent ralentir son retour à l’emploi. L’agent de l’ANPE peut repérer ces facteurs inobservés pour l’économètre au cours d’un entretien, le conduisant à proposer au demandeur le bénéfice de certains dispositifs. Les développements récents proposent des solutions pour traiter cette hétérogénéité inobservée et pour tester l’existence d’un biais lié à cette hétérogénéité. Elles supposent de faire des hypothèses paramétriques. Les résultats obtenus y sont alors sensibles.

Ne pas traiter les différences de caractéristiques inobservées au risque de conserver des biais de sélection ou prendre en compte l’hétérogénéité inobservée par des outils plus complexes mais qui rendent les résultats très sensibles aux hypothèses faites pour la traiter, voilà le dilemme. Et s’il est plus facile pour un non spécialiste de comprendre les limites de la première voie là où la seconde voie est davantage l’affaire d’experts, privilégier l’outil sur l’expertise, voilà le risque.