BLOGUE. J'ai une petite question pour vous : le matin, quand le bulletin météo vous annonce qu'il y a un risque d'averses de 60% dans la journée, vous sortez avec, ou sans, votre parapluie? Autrement dit, considérez-vous votre météorologue comme un expert ou bien comme un charlatan? Poussons un peu plus loin le raisonnement : sur quoi vous basez-vous au juste pour dire que cette personne excelle dans son métier, ou au contraire fait honte à sa profession?
Découvrez mes précédents posts
Suivez-moi sur Facebook et sur Twitter
Vous voyez sûrement où je veux en venir : il est loin d'être aisé de juger correctement la compétence d'autrui. Et pourtant – chose étrange –, nous le faisons sans cesse, bien souvent à l'emporte-pièce, en particulier pour la météo (surtout les jours où il fait beau alors qu'on est allé au travail avec son parapluie, après avoir écouté les prévisions météo à la radio…). Oui, nous jugeons, même sans avoir tous les éléments en mains pour cela, parce que nous en ressentons le besoin. Si bien que nous donnerions cher pour savoir si l'on a en face de nous un expert ou un charlatan, à chaque fois que nous devons nous en remettre à une personne «avisée».
La bonne nouvelle du jour, c'est que vous ne devrez rien débourser pour le savoir à l'avenir. Car la méthode permettant de savoir ce que vaut la personne qui vous donne des conseils existe et je vais m'empresser de la partager gratuitement avec vous. Je l'ai dénichée dans une étude intitulée Calibration: Respice, adspice, prospice et signée par Dean Foster, professeur de statistique à Wharton, et Rakesh Vohra, professeur d'économie et de science de la décision à la Kellogg School on Management.
Ainsi, MM. Foster et Vohra se sont fait une spécialité, au fil des années, des prévisions, qui permettent si facilement aux charlatans de briller à nos yeux. «Si je vous demande de me dire si, oui ou non, il va pleuvoir demain, je saurai très facilement si vous avez vu juste ou pas. En revanche, si je vous demande de me donner la probabilité qu'il y ait une averse demain, ce sera difficile pour moi de dire si vous avez eu raison ou tort, parce que si vous me dîtes que le risque est de 25% et qu'il pleut effectivement le lendemain, on ne peut pas objectivement dire que vous vous êtes trompé, n'est-ce pas?», a illustré M. Vohra dans un document annexe à son étude.
Une méthode est couramment utilisée pour évaluer la fiabilité des prévisionnistes, il s'agit du calibrage. Cette dernière est d'ailleurs en vigueur aux États-Unis par le National Weather Service (NWS) pour juger ses propres météorologues. Voici comment ça marche… Le NWS prend, par exemple, toutes les journées où l'un de ses experts a annoncé un risque d'averses de 30% et regarde si, ces jours-là, il a effectivement plus en moyenne 30% du temps. Si la prévision et la réalité correspondent grosso modo, alors l'expert est dit «calibré». Cette méthode sert en météo, mais aussi dans tout autre domaine recourant aux prévisions (analystes financiers, etc.).
Le hic? «La méthode du calibrage semble impeccable a priori, mais elle est en vérité défectueuse», affirment les deux chercheurs. Ils en apportent la preuve irréfutable dans leur étude.
Ils ont pour cela concocté un algorithme, c'est-à-dire un procédé de calculs, permettant de faire des prévisions dans n'importe quel domaine. Que ce soit pour la météo, pour la finance, pour les compétitions sportives, etc. Cet algorithme vise avant tout à être calibré, ce qui signifie qu'il a pour but de présenter un résultat qui a le moins de chances de se tromper. Et – tenez-vous bien! –, ils y sont parvenus! Oui, MM. Foster et Vohra ont réussi à mettre au point une série de calculs «magiques» permettant de toujours «voir juste» à l'avance. Incroyable, mais vrai!
Le hic? Cet algorithme est la preuve par l'absurde qu'il y a un problème avec la méthode du calibrage. «Ce n'est pas normal qu'un simple algorithme puisse atteindre un tel niveau de calibrage. C'est plutôt que quelque chose cloche du côté du calibrage lui-même», indique M. Vohra.
Là encore, un exemple permettra de mieux saisir… Disons qu'un météorologue ait annoncé qu'il y avait 90% de risque d'averses durant trois journées où il a effectivement plu et 10% pour les sept où il n'est pas tombé une goutte d'eau. Vous et moi, nous dirions qu'il avait vu juste. Or, la méthode du calibrage indique que ce prévisionniste est plus mauvais que celui qui a dit que le risque d'averses était de 30% chaque jour durant les 10 prochaines journées. CQFD.
Que faire, maintenant que la méthode du calibrage est devenue obsolète, pour confondre les charlatans? Les chercheurs de Wharton et Kellogg font trois recommandations :
> Prisez l'expérience. Le calibrage repose sur une analyse de données brutes et pêche par le fait qu'il ne tient pas compte d'autres informations, en particulier à propos du domaine en question. Ces dernières sont pourtant déterminantes pour faire de bonnes prévisions, et l'être humain expérimenté est souvent à même de les dégager correctement. «Un investisseur qui suit la Bourse depuis une trentaine d'années présente moins de risques de commettre une bévue que celui qui s'y frotte depuis deux mois», illustre M. Vohra.
> Affectionnez la simplicité. «Pour masquer leur incompétence, nombre de charlatans usent de formules mathématiques complexes et de termes jargonneux. Les experts, eux, s'appuient sur des concepts simples à saisir et transparents», indiquent-ils.
> Posez-vous des questions. «Quand il vous faut évaluer un expert vous-même, ne vous contentez pas de regarder ses succès passés. Regardez aussi sa méthode de prévisions : si celle-ci vous paraît complexe, c'est qu'il va essayer de vous arnaquer ; si elle vous paraît compréhensible, c'est bon signe. Regardez enfin son calibrage : si celui-ci est bon, méfiez-vous», ajoutent-ils.
Par conséquent, mieux vaut rester humble dans un domaine que l'on ne connaît pas. Car nous n'avons pas alors les connaissances suffisantes pour déterminer, entre autres, si ce que nous dit l'expert en face de nous est «simple» ou «complexe», et donc «véridique» ou «frauduleux». La sagesse veut dès lors que nous redoublions de vigilance dès que nous nous aventurons en territoire «étranger», pour ne pas dire «ennemi».
En passant, le philosophe roumain Emil Michel Cioran a dit dans ses Aveux et anathèmes : «Il y a du charlatan dans quiconque triomphe en quelque domaine que ce soit»…
Découvrez mes précédents posts