Que ferez-vous si l'analyse de l'IA vous contredit ? [Olivier Sibony]

Xerfi Canal

22/01/2025

Dans les débats sur la place croissante des algorithmes, un thème revient sans cesse : « l’humain doit garder la main ». L’IA ne saurait être qu’une aide à la décision ; et un humain doit pouvoir passer outre sa recommandation (comme quand vous tracez votre route en ignorant le conseil de Waze). Ce principe sans cesse réaffirmé se décompose en réalité en deux idées bien distinctes. [...]

Catégorie

🗞

News

Transcription

Afficher la transcription complète de la vidéo

00:00Dans les débats sur la place croissante des algorithmes et des intelligences artificielles,

00:13un thème revient sans cesse, l'humain doit garder la main.

00:17L'IA ne saurait être qu'une aide à la décision,

00:20un humain doit pouvoir passer outre sa recommandation,

00:23un peu comme quand vous tracez votre route en ignorant le conseil de Waze.

00:28Ce principe, sans cesse réaffirmé, se décompose en réalité en deux idées bien distinctes.

00:33La première idée, c'est que la responsabilité doit rester humaine.

00:37Ici, on adopte le point de vue de l'utilisateur,

00:40quand vous prenez un conseil, vous voulez le conseil d'un humain.

00:43Et si votre conseiller financier vous a fait faire un mauvais investissement,

00:46ou si votre médecin a fait une erreur de diagnostic,

00:49c'est à cette personne que vous en ferez le reproche, pas à une machine.

00:53Jusque là, tout va bien.

00:55La thèse complique, c'est la seconde idée,

00:57qui est qu'un humain doit donc toujours vérifier ce que lui suggère un algorithme.

01:01Cette fois, on adopte le point de vue de l'humain responsable,

01:04dans les exemples précédents, le conseiller financier ou le médecin.

01:08Et on se dit, au fond, étant donné que je suis, moi,

01:11le conseiller financier ou le médecin responsable de la décision,

01:15et puisque je veux donc prendre la meilleure décision possible,

01:18c'est à moi de décider quand je fais confiance à la machine

01:21et quand je décide d'ignorer sa recommandation.

01:25Sur ce point, l'écrasante majorité des managers,

01:28quand on les interroge, sont convaincus qu'ils peuvent effectivement

01:32répondre au cas par cas, c'est-à-dire prendre conseil

01:35auprès d'une intelligence artificielle,

01:37et rester maître de la décision finale.

01:39On entend souvent d'ailleurs l'idée que c'est ainsi qu'on prendrait

01:42les meilleures décisions et que la combinaison homme plus machine

01:46serait meilleure que la machine toute seule.

01:49Ce discours est très rassurant.

01:51L'IA pourrait nous aider, mais pas nous remplacer.

01:55Le problème, c'est que ce discours n'est pas exact.

01:58En voici trois exemples.

02:00Le premier exemple est déjà ancien à l'échelle de l'IA.

02:03Il a été publié en 2018 dans le Quarterly Journal of Economics.

02:07Les auteurs de cette étude ont étudié les tests à l'embauche

02:10dans 15 entreprises et se sont demandé ce qui se passe

02:13quand les recruteurs décident de ne pas suivre la recommandation du test.

02:17Le résultat, c'est que les décisions sont moins bonnes.

02:21Quand les managers passent outre les recommandations du test,

02:24ils s'imaginent qu'ils tiennent compte des qualités ou des défauts

02:27d'un candidat que les tests n'ont pas décelés mais que eux ont perçus.

02:30Ils croient, en d'autres termes, qu'ils disposent d'une information

02:33supérieure à celle de l'algorithme, mais en réalité,

02:36ils ne font qu'introduire leurs propres biais et leurs propres erreurs

02:39dans la décision.

02:41Deuxième exemple.

02:43Deux chercheuses de Harvard ont étudié des juges

02:46qui accordent ou pas une liberté sous caution

02:49en cédant d'un algorithme de prédiction de la récidive.

02:52Là aussi, bien sûr, les juges peuvent décider différemment

02:56de ce que conseille l'algorithme et ne se privent pas de le faire.

02:59Mais là aussi, il vaudrait mieux, semble-t-il,

03:02qu'ils s'en tiennent à ce que recommande l'algorithme.

03:05Pour 90% des juges, l'intervention humaine dégrade

03:10la qualité de la décision telle qu'elle était proposée par l'algorithme.

03:13Alors il reste bien sûr 10% des juges

03:16qui, quand ils contredisent l'algorithme, améliorent sa décision,

03:19ce qui suggère qu'ils ont effectivement des informations

03:22que l'algorithme n'a pas et qu'ils sont capables d'utiliser à bon escient.

03:25Le problème, bien sûr, c'est que tout le monde

03:28ne fait pas partie des meilleurs 10%.

03:31Le troisième exemple, qui lui est tout récent,

03:34porte sur des diagnostics médicaux.

03:36Les chercheurs ont comparé sur des cas complexes

03:39la qualité du diagnostic qui est fait par des médecins seuls

03:42par une IA seule

03:45et par des médecins assistés par l'IA.

03:48Ils s'attendaient bien sûr à ce que ce soit cette dernière combinaison,

03:51le médecin plus l'IA, qui soit gagnante.

03:54Mais ça n'est pas ce qui s'est produit.

03:56L'IA seule a trouvé le bon diagnostic dans 90% des cas,

04:00les médecins seuls dans 74% des cas,

04:03le tandem dans 76% des cas,

04:06donc à peine mieux que les médecins tout seuls

04:09et nettement moins bien que l'IA toute seule.

04:12Pourquoi ? Parce que les médecins

04:15ont une très grande confiance dans leur propre diagnostic,

04:18même quand l'IA leur en suggère un qui est en fait meilleur.

04:22Ce que ces différents exemples nous montrent

04:25est confirmé par une méta-analyse

04:28parue dans Nature Human Behavior en octobre 2024.

04:31Pour les tâches de décision,

04:34de décision à l'exclusion des tâches de création,

04:37pour les tâches de décision,

04:40les équipes humains plus IA sont moins bonnes que les IA toutes seules.

04:43La raison est en fait facile à comprendre,

04:46c'est même une question de simple logique.

04:49Quand vous utilisez une aide à la décision,

04:52que ça soit un test à l'embauche, un modèle, un chatbot,

04:55peu importe l'outil, de deux choses l'une.

04:58Soit l'outil n'a pas en moyenne une meilleure performance que vous,

05:01et alors il n'y a pas de raison de l'utiliser.

05:04Soit il a en moyenne une meilleure performance que vous,

05:07ce qui est bien sûr le cas dans tous les exemples qu'on a vus.

05:10Mais alors, c'est forcément qu'il y a des cas

05:13où vous n'êtes pas d'accord avec l'outil,

05:16et où c'est l'outil qui a raison, et vous qui avez tort.

05:19Il y a des cas limites où il faut savoir passer outre la recommandation,

05:22mais ils sont rares.

05:25En règle générale, c'est précisément quand l'IA n'est pas d'accord avec nous

05:28qu'elle nous rend service.

05:31Si nous utilisons des outils d'aide à la décision,

05:34il faut donc d'abord s'assurer qu'ils soient effectivement

05:37plus performants que nous, sur la qualité de la décision

05:40comme sur l'absence de biais.

05:43Mais ensuite, une fois qu'on a validé l'outil,

05:46il faut accepter de suivre son avis,

05:49même et surtout quand cet avis nous surprend.

Recommandations