Les charlatans misent toujours sur notre crédulité... Photo : DR.
BLOGUE. J'ai une petite question pour vous : le matin, quand le bulletin météo vous annonce qu'il y a un risque d'averses de 60% dans la journée, vous sortez avec, ou sans, votre parapluie? Autrement dit, considérez-vous votre météorologue comme un expert ou bien comme un charlatan? Poussons un peu plus loin le raisonnement : sur quoi vous basez-vous au juste pour dire que cette personne excelle dans son métier, ou au contraire fait honte à sa profession?
Découvrez mes précédents posts
Suivez-moi sur Facebook et sur Twitter
Vous voyez sûrement où je veux en venir : il est loin d'être aisé de juger correctement la compétence d'autrui. Et pourtant – chose étrange –, nous le faisons sans cesse, bien souvent à l'emporte-pièce, en particulier pour la météo (surtout les jours où il fait beau alors qu'on est allé au travail avec son parapluie, après avoir écouté les prévisions météo à la radio…). Oui, nous jugeons, même sans avoir tous les éléments en mains pour cela, parce que nous en ressentons le besoin. Si bien que nous donnerions cher pour savoir si l'on a en face de nous un expert ou un charlatan, à chaque fois que nous devons nous en remettre à une personne «avisée».
La bonne nouvelle du jour, c'est que vous ne devrez rien débourser pour le savoir à l'avenir. Car la méthode permettant de savoir ce que vaut la personne qui vous donne des conseils existe et je vais m'empresser de la partager gratuitement avec vous. Je l'ai dénichée dans une étude intitulée Calibration: Respice, adspice, prospice et signée par Dean Foster, professeur de statistique à Wharton, et Rakesh Vohra, professeur d'économie et de science de la décision à la Kellogg School on Management.
Ainsi, MM. Foster et Vohra se sont fait une spécialité, au fil des années, des prévisions, qui permettent si facilement aux charlatans de briller à nos yeux. «Si je vous demande de me dire si, oui ou non, il va pleuvoir demain, je saurai très facilement si vous avez vu juste ou pas. En revanche, si je vous demande de me donner la probabilité qu'il y ait une averse demain, ce sera difficile pour moi de dire si vous avez eu raison ou tort, parce que si vous me dîtes que le risque est de 25% et qu'il pleut effectivement le lendemain, on ne peut pas objectivement dire que vous vous êtes trompé, n'est-ce pas?», a illustré M. Vohra dans un document annexe à son étude.
Une méthode est couramment utilisée pour évaluer la fiabilité des prévisionnistes, il s'agit du calibrage. Cette dernière est d'ailleurs en vigueur aux États-Unis par le National Weather Service (NWS) pour juger ses propres météorologues. Voici comment ça marche… Le NWS prend, par exemple, toutes les journées où l'un de ses experts a annoncé un risque d'averses de 30% et regarde si, ces jours-là, il a effectivement plus en moyenne 30% du temps. Si la prévision et la réalité correspondent grosso modo, alors l'expert est dit «calibré». Cette méthode sert en météo, mais aussi dans tout autre domaine recourant aux prévisions (analystes financiers, etc.).
Le hic? «La méthode du calibrage semble impeccable a priori, mais elle est en vérité défectueuse», affirment les deux chercheurs. Ils en apportent la preuve irréfutable dans leur étude.
