Modèles mous

Mini buzz scientifique sur le web, à la suite de ce billet de Scientific Amerian :”Why Economic Models Are Always Wrong” (pourquoi les modèles économiques sont toujours faux)


Résumons-en les points saillants. Il s’agit d’une expérience de pensée réalisée par un géophysicien étendue à l’économie par l’auteur du billet. Imaginez que vous preniez un modèle, avec certains paramètres, et génériez plein de données.

Maintenant, imaginez que vous preniez ces données simulées, jetiez tous les paramètres du modèle, et essayiez d’utiliser votre modèle pour “fitter” les données et ainsi retrouver les paramètres utilisés à partir des données. Que se passe-t-il ? Retrouvez-vous facilement tous vos paramètres initiaux ?

La réponse est simple et bien connue par quiconque a fait un peu de modélisation (un peu moins des purs expérimentateurs, malheureusement) : en réalité, il y a un nombre à peu près infini de paramètres qui peuvent reproduire des données, même en contraignant le modèle. D’où la conclusion philosophico-scientifique du billet de SciAm : tous les modèles sont faux, et aucun n’est prédictible. Ergo, la science est impossible ?

Rien n’est moins sûr, car la physique vient à notre rescousse. Ce problème est bien évidemment un classique. Examinons tout d’abord le contexte traditionnel dans lequel il a été proposé pour la première fois : le fit des sommes d’exponentielles, modélisant la dégradation d’éléments radioactifs. Considérons donc trois éléments radioactifs, se dégradant exponentiellement. Nous connaissons l’équation suivie par cette dégradation radioactive, de la forme suivante :

r(t)=A_1 e^{-\delta_1 t}+A_2 e^{-\delta_2 t}+ A_3 e^{-\delta_3 t}

(oui, je sais, en mettant une équation, je viens moi aussi de faire décroître exponentiellement le nombre de lecteurs de ce billet)
Voici une courbe typique avec un “fit” des données :

Comme dans le problème de géophysique ci-dessus, on peut trouver plein de jeux de paramètres fittant ces courbes, en voici 3 :

Première leçon évidente : n’importe quel jeu de paramètres peut prédire avec précision les données sur l’échelle de temps considérée. Ce n’est pas une leçon inutile : cela signifie qu’un modèle marche bien indépendamment de ses paramètres si on définit bien le contexte dans lequel il peut être appliqué. Car effectivement, si on prolonge ces tendances sur des années, on voit que les différents modèles divergent :

Deuxième leçon : lorsqu’ils sont extrapolés à des limites hors du fit, les différents modèles donnent des prédictions très différentes (et donc “tous les modèles sont faux”).

La question qui se pose, donc, est comment caractériser un bon modèle, et comment faire en sorte qu’il soit prédictif. Curieusement, malgré la généralité du problème, il n’avait jamais été sérieusement étudié avant que James Sethna et son groupe de l’université Cornell s’y intéressent il y a quelques années (on pourra consulter sa page web sur le sujet, pleine de références et de détails sur l’approche, et dont sont tirées les illustrations de ce billet). Sethna et son équipe se sont retrouvés confrontés au problème dans le contexte du fit de données expérimentales biologiques (la voie de transduction EGF).

Ils ont alors utilisé leur savoir faire de la physique de la matière condensée pour caractériser le problème et trouver des solutions. La théorie est un peu technique (mais pas inabordable pour quiconque connaît un peu de maths et de géométrie différentielle), mais Sethna et son équipe ont caractérisé correctement ce problème de fitting en ramenant cela à un problème de caractérisation de “valeurs propres” en mathématiques. L’idée est que, dans l’espace abstrait des paramètres, les différents fits de data peuvent être très bien caractérisés le long de deux types de directions :

  • les directions “dures” (stiff), qui sont des paramètres ou des combinaisons de paramètres très contraints par les data
  • les directions “molles”(sloppy), qui sont des paramètres ou des directions absolument pas contraints

Plusieurs choses sont intéressantes dans cette classification :

  • d’abord elle est universelle. La plupart des modèles ont cette propriété, et les travaux de Sethna et son équipe permettent de la caractériser proprement
  • ensuite, on s’aperçoit de façon générique que les contraintes le long des directions molles sont typiquement un million de fois moins importantes que les contraintes le long des directions dures. Cela signifie concrètement que, dans un modèle typique, certains paramètres sont indéterminés à un facteur 10^6 près !
  • mais surtout, cette approche mathématique peut être utilisée concrètement pour “durcir” les directions molles et donne un algorithme pour rendre un modèle prédictif. Car étant donné un modèle et des data, on peut regarder la famille de “bon fits”, considérer les paramètres correspondant, faire une physique statistique de ceux-ci et ainsi caractériser les directions molles. Sachant les directions molles, on peut alors mettre au point une expérience permettant de lever l’indétermination sur ces directions. Par exemple, dans le modèle de fits exponentiels ci-dessus, très clairement, une façon de différencier entre les modèles est de faire une mesure de la radioactivité des années après, dans la région où les différents modèles deviennent très différents.

Le billet de SciAm est très agaçant de ce point de vue-là, limite “bad science”: il transforme un résultat négatif en impossibilité absolue. La beauté de l’approche de Sethna et de ses collaborateurs est de s’être attaqué au problème (bien connu), de l’avoir proprement caractérisé mathématiquement pour la première fois et de proposer des solutions pour améliorer la connaissance des systèmes et l’exactitude des modèles. C’est ça, la vraie science.

Référence :


La page de Sethna sur les “sloppy models”


Appendice mathématique :

Mathématiquement le problème des directions molles peut se comprendre assez bien sur les exponentielles. En gros, dans l’espace des fonctions, les “vecteurs” définis par les différentes exponentielles sont quasiment tous parallèles (i.e. il n’existe pas de bon produit scalaire sur l’espace des fonctions pour lesquelles différentes exponentielles sont orthogonales). Du coup, quand on projette une fonction sur cette base de vecteurs, il est très difficile de trouver les bonnes directions avec précision.

10 Responses to “Modèles mous”

  1. J... Says:

    L’article de Freedman dans SciAm est assez caricatural en effet, et passe naturellement sous silence tous les outils statistiques qui existent (depuis des lustres) pour juger de la qualité d’un modèle: intervalles de confiance, sensibilité, estimabilité, plans d’expériences, XXX-optimalité….
    Mais il ne faut pas lui jeter la pierre car bon nombre de scientifiques professionnels sont convaincus qu’un bon R^2 dans une régression Excel suffit à dire qu’un modèle est bon. Même une pauvre régression multilinéaire fait peur à beaucoup de gens.

  2. Roud Says:

    Cet article a été en tête des articles les plus lus sur le blog de SciAm. Je n’ai pas eu le courage de regarder les 70 commentaires, mais ceux que j’ai lus allaient tous dans le même (mauvais) sens. C’est assez incroyable sociologiquement de voir ça.

    Quant aux scientifiques, je ne suis moi même pas un expert en stats, mais je n’en tire pas un argument pour dire que toutes les stats sont fausses ! En revanche, je prends tout modèle “fitté” avec des pincettes…

  3. pablo Says:

    Je ne connaissais pas ces publis et je le regrette vu les articles que j’ai pu écrire sur le “paramètre tuning” :-(

    Deux remarques rapides en passant :
    - il est des systèmes qui sont impossibles à fitter, même entre les données. Par exemple une sinusoïde avec seulement quelques points et une fréquence inconnue. Un bon fit donne une fréquence mais tous les multiples marchent aussi. Et il est alors impossible de prédire les points intermédiaires.
    - les directions molles peuvent indiquer des paramètres qui n’en sont pas, des éléments inutiles du modèle. Ce qui est intéressant…

  4. pablo Says:

    Ach… la correction automatique n’aime pas trop l’anglais…

  5. LD Says:

    “La question qui se pose, donc, est comment caractériser un bon modèle, et comment faire en sorte qu’il soit prédictif. Curieusement, malgré la généralité du problème, il n’avait jamais été sérieusement étudié avant”

    Je sais que la communication entre disciplines est souvent difficile, mais cette dernière phrase passe sous le tapis des pans énormes de la statistique mathématique et de l’économétrie moderne :) (sans réfléchir : critères d’information, robustesse, estimation pénalisée, statistique sparse, sélection de modèles, validation croisée…)

  6. Fr. Says:

    Intelligent. Ça peut servir en sociologie, où certains problèmes sociaux peuvent se construire sur une opposition entre des paramètres “stiff” et des paramètres “sloppy”. Quel est le texte principal à lire ? Son bouquin “Entropy etc.” (OUP 2006) utilise la terminologie stiff/sloppy mais ce n’est pas le sujet principal.

  7. Tom Roud Says:

    @ LD : oh je n’ en doute pas, mais la classe d’universalité des “sloppy models” me paraît être un truc bien physique et en ce qui me concerne LA bonne approche
    @ Fr : le papier de ref est le Plos. Comp. Biol
    http://www.ploscompbiol.org/article/info:doi/10.1371/journal.pcbi.0030189

  8. LD Says:

    C’est sans doute formidable si ces chercheurs peuvent faire avancer le doute sur la portée des outils statistiques. Et la plupart de leurs conclusions sont sans doute très justes.

    Je m’étonne juste un peu qu’elles semblent si nouvelles ! Qu’on ne puisse absolument pas évaluer six paramètres avec dix observations bruitées n’est visiblement pas un fait aussi évident qu’il devrait l’être. D’ailleurs on peut essayer de fitter les mêmes observations bruitées sur la somme de deux ou trois courbes affines, le résultat sera en gros le même.

    Sur le fond, j’avoue que j’ai un peu survolé les articles mis en lien. Shame on me ! C’est difficile de lire une littérature scientifique quand on n’a pas idée des enjeux et des outils communément admis, sans parler du style ni des conventions implicites.

    Selon ce que j’ai compris, et je me trompe peut-être, il s’agit de dire que la paramétrisation “naturelle” dictée par la modélisation est parfois mauvaise, et qu’il suffit de changer de base sur l’espace des paramètres à fitter pour que l’estimation par les moindres carrés “fonctionne”. Ca me semble une bonne intuition, mais il y a quand même plein, plein d’autres choses à faire !

  9. Dr. Goulu Says:

    Il y a un autre fait très important qui empêche les modèles économiques d’être bons : quand ils le sont, on utilise immédiatement le modèle pour gagner des ronds, créant ainsi une boucle de contre-réaction (positive ou négative…) , ce qui modifie structurellement le modèle, qui n’est alors plus valide.

    Ceci nous a été expliqué (alors que j’étais doctorant, il y a bien longtemps…) et démontré par le père du http://fr.wikipedia.org/wiki/Filtre_de_Kalman , un outil permettant justement de séparer les variables “dures” des “molles” dans plein d’applications de la dynamique. Le monsieur espérait l’appliquer à l’économie (because Nobel…) mais se heurtait en permanence au problème : un modèle fittant le passé ne sert à rien, et si on ne sait pas s’il est toujours valable dans l’avenir, il ne vaut pas beaucoup mieux…

  10. Fr. Says:

    Merci !


Nombre de pages vues : 1227377