DiagnosUs, une application mobile, utilise l’intelligence collective des étudiants en médecine et des professionnels pour étiqueter et évaluer les données médicales. Ce processus, qui s’accompagne de prix en espèces pour les diagnostics exacts, aide les entreprises d’IA médicale à améliorer leurs algorithmes. L’approche de Centaur donne des résultats fiables, qui correspondent souvent aux diagnostics des experts, voire les dépassent. M. Duhaime envisage un avenir où son entreprise surveillera en permanence les modèles d’IA, créant ainsi un écosystème intégré d’expertise humaine et d’IA.
La plateforme d’un ancien élève du MIT exploite la sagesse des foules pour étiqueter les données médicales à l’intention des entreprises d’IA.
Centaur Labs a créé une application que des experts utilisent pour classer des données médicales en échange de petits prix en espèces. Ces avis sont utilisés pour former et améliorer les modèles d’IA qui sauvent des vies.
Lorsqu’Erik Duhaime PhD ’19 travaillait sur sa thèse au Center for Collective Intelligence du MIT, il avait remarqué que sa femme, alors étudiante en médecine, passait des heures à étudier sur des applications proposant des flashcards et des quiz. Ses recherches avaient montré qu’en tant que groupe, les étudiants en médecine pouvaient classer les lésions cutanées avec plus de précision que les dermatologues professionnels ; l’astuce consistait à mesurer en permanence les performances de chaque étudiant sur des cas dont les réponses étaient connues, à rejeter les opinions des personnes qui n’étaient pas douées pour la tâche et à regrouper intelligemment les opinions des personnes qui étaient douées pour la tâche.
En combinant les habitudes d’étude de sa femme avec ses recherches, M. Duhaime a fondé Centaur Labs, une entreprise qui a créé une application mobile appelée DiagnosUs pour recueillir les avis d’experts médicaux sur des données scientifiques et biomédicales du monde réel. Grâce à l’application, les utilisateurs examinent des images de lésions cutanées potentiellement cancéreuses ou des clips audio de bruits cardiaques et pulmonaires susceptibles d’indiquer un problème. Si les avis des utilisateurs sont exacts, Centaur les utilise et leur attribue de petits prix en espèces. Ces avis, à leur tour, aident les entreprises spécialisées dans l’IA médicale à former et à améliorer leurs algorithmes.
Les cofondateurs de Centaur Labs (de gauche à droite) Tom Gellatly, Erik Duhaime PhD ’19, et Zach Rausnitz. Crédit : avec l’aimable autorisation des chercheurs
L’approche combine le désir des experts médicaux de perfectionner leurs compétences avec le besoin désespéré de données médicales bien étiquetées par les entreprises qui utilisent l’IA pour la biotechnologie, le développement de produits pharmaceutiques ou la commercialisation d’appareils médicaux.
« J’ai réalisé que les études de ma femme pouvaient constituer un travail productif pour les développeurs d’IA », se souvient M. Duhaime. « Aujourd’hui, des dizaines de milliers de personnes utilisent notre application, et environ la moitié d’entre elles sont des étudiants en médecine qui sont ravis de gagner de l’argent en étudiant. Nous disposons donc d’une plateforme gamifiée où les gens se font concurrence pour former des données, gagnent de l’argent s’ils sont bons et améliorent leurs compétences en même temps – et en faisant cela, ils étiquettent des données pour les équipes qui développent une IA capable de sauver des vies.
Sommaire
Gamifier l’étiquetage médical
Duhaime a obtenu son doctorat sous la direction de Thomas Malone, professeur de gestion Patrick J. McGovern et directeur fondateur du Center for Collective Intelligence.
« Ce qui m’intéressait, c’était le phénomène de la sagesse des foules », explique Duhaime. « Demandez à un groupe de personnes combien il y a de bonbons dans un bocal, et la moyenne des réponses de chacun sera assez proche. Ce qui m’intéressait, c’était de savoir comment résoudre ce problème dans le cadre d’une tâche qui requiert des compétences ou de l’expertise. Il est évident que vous ne voulez pas demander à un groupe de personnes au hasard si vous avez un cancer, mais en même temps, nous savons que les seconds avis dans le domaine de la santé peuvent être extrêmement précieux. Vous pouvez considérer notre plateforme comme un moyen surpuissant d’obtenir un deuxième avis ».
Duhaime a commencé à explorer les moyens de tirer parti de l’intelligence collective pour améliorer les diagnostics médicaux. Dans le cadre d’une expérience, il a formé des groupes de profanes et d’étudiants en médecine, qu’il décrit comme des « semi-experts », à classer les affections cutanées, et a constaté qu’en combinant les opinions des plus performants, il pouvait obtenir de meilleurs résultats que les dermatologues professionnels. Il a également constaté qu’en combinant des algorithmes formés à la détection des cancers de la peau avec les avis d’experts, il pouvait obtenir de meilleurs résultats qu’avec l’une ou l’autre de ces méthodes.
« L’idée de base était de faire deux choses », explique M. Duhaime. « La première consiste à mesurer les performances des personnes – ce qui semble évident, mais même dans le domaine médical, ce n’est pas souvent le cas. Si vous demandez à un dermatologue s’il est bon, il vous répondra : « Oui, bien sûr, je suis dermatologue ». Il ne sait pas nécessairement à quel point il est doué pour des tâches spécifiques. Deuxièmement, lorsque vous obtenez des avis multiples, vous devez identifier les complémentarités entre les différentes personnes. Il faut reconnaître que l’expertise est multidimensionnelle, ce qui revient un peu plus à constituer l’équipe optimale de trivia qu’à réunir les cinq personnes les plus compétentes dans le même domaine. Par exemple, un dermatologue peut être meilleur pour identifier un mélanome, tandis qu’un autre peut être meilleur pour classifier la gravité du psoriasis ».
Tout en poursuivant son doctorat, M. Duhaime a fondé Centaur et a commencé à utiliser l’écosystème entrepreneurial du MIT pour développer son idée. Il a reçu un financement du Sandbox Innovation Fund du MIT en 2017 et a participé à l’accélérateur de startups delta v géré par le Martin Trust Center for MIT Entrepreneurship au cours de l’été 2018. Cette expérience l’a aidé à entrer dans le prestigieux accélérateur Y Combinator plus tard dans l’année.
L’application DiagnosUs, que Duhaime a développée avec les cofondateurs de Centaur, Zach Rausnitz et Tom Gellatly, est conçue pour aider les utilisateurs à tester et à améliorer leurs compétences. Duhaime explique qu’environ la moitié des utilisateurs sont des étudiants en médecine et que l’autre moitié est composée de médecins, d’infirmières et d’autres professionnels de la santé.
« C’est mieux que d’étudier pour des examens, où il y a des questions à choix multiples », explique M. Duhaime. « Ils ont l’occasion de voir des cas réels et de s’exercer.
Centaur recueille chaque semaine des millions d’avis de dizaines de milliers de personnes dans le monde entier. Selon M. Duhaime, la plupart des gens gagnent de l’argent pour le café, mais la personne qui a gagné le plus grâce à la plateforme est un médecin d’Europe de l’Est, qui a gagné environ 10 000 dollars.
« Les gens peuvent le faire depuis leur canapé, ils peuvent le faire depuis leur téléphone portable », explique Duhaime. « Cela ne ressemble pas à du travail, c’est amusant.
Cette approche contraste fortement avec l’étiquetage traditionnel des données et la modération du contenu par l’IA, qui sont généralement externalisés dans des pays à faibles ressources.
L’approche de Centaur produit également des résultats précis. Dans un article rédigé avec des chercheurs du Brigham and Women’s Hospital, du Massachusetts General Hospital (MGH) et de l’Université de technologie d’Eindhoven, Centaur a montré que ses opinions issues du crowdsourcing permettaient d’étiqueter les échographies pulmonaires de manière aussi fiable que les experts. Une autre étude menée avec des chercheurs de Memorial Sloan Kettering a montré que l’étiquetage crowdsourcé d’images dermoscopiques était plus précis que celui de dermatologues très expérimentés. Outre les images, la plateforme de Centaur fonctionne également avec des vidéos, du son, du texte provenant de sources telles que des documents de recherche ou des conversations anonymes entre médecins et patients, et des ondes provenant d’électroencéphalogrammes (EEG) et d’électrocardiogrammes (ECG).
Trouver les experts
Centaur a découvert que les meilleurs résultats proviennent d’endroits surprenants. En 2021, pour recueillir l’avis d’experts sur les schémas EEG, les chercheurs ont organisé un concours via l’application DiagnosUs lors d’une conférence réunissant une cinquantaine d’épileptologues, chacun ayant plus de 10 ans d’expérience. Les organisateurs ont fabriqué une chemise personnalisée pour l’offrir au gagnant du concours, dont ils supposaient qu’il serait présent à la conférence.
Mais lorsque les résultats sont tombés, deux étudiants en médecine du Ghana, Jeffery Danquah et Andrews Gyabaah, avaient battu tous les participants. Le participant à la conférence le mieux classé était arrivé en neuvième position.
« J’ai commencé par le faire pour l’argent, mais je me suis rendu compte que cela m’aidait beaucoup », a déclaré plus tard Andrews Gyabaah à l’équipe du Centaure. « Il y a eu des moments à la clinique où j’ai réalisé que je faisais mieux que les autres grâce à ce que j’avais appris sur l’application DiagnosUs.
Alors que l’IA continue de modifier la nature du travail, M. Duhaime pense que Centaur Labs servira à vérifier en permanence les modèles d’IA.
« Pour l’instant, nous aidons principalement les gens à former des algorithmes, mais de plus en plus, je pense que nous serons utilisés pour surveiller les algorithmes et en conjonction avec les algorithmes, essentiellement pour servir d’humains dans la boucle pour toute une série de tâches », explique Duhaime. « On pourrait nous considérer moins comme un moyen de former l’IA que comme un élément du cycle de vie complet, où nous fournissons un retour d’information sur les résultats des modèles ou surveillons le modèle.
M. Duhaime estime que le travail des humains et des algorithmes d’IA est de plus en plus intégré et que Centaur Labs a un rôle important à jouer dans cet avenir.
« Il ne s’agit pas seulement de former un algorithme, de déployer un algorithme », explique M. Duhaime. « Au lieu de cela, il y aura ces chaînes de montage numériques dans toute l’économie, et vous aurez besoin d’un jugement humain expert à la demande infusé à différents endroits de la chaîne de valeur. »