mais surtout est-ce la bonne question ?

https://www.thelancet.com/journals/landig/article/PIIS2589-7500(19)30123-2/fulltext?fbclid=IwAR1p9L0t2R0KQCKoQf1UpGnJXz5k8ZHKoyLpAjnhbm_klW8WuMshG3VY-og#%20

Le  1er Octobre 2019, The Lancet Digital Health propose cet article sur (réellement 69 avec suffisamment de data sur 82 études de 147 cohortes) plus de 31 500 études des 7 dernières années veut évaluer la précision des algorithmes de deep-learning et la pertinence diagnostic des professionnels de santé (probablement donc des spécialistes experts, ce qui peut être déjà un biais dans la vie réelle à l’échelle de l’accès aux soins sur la planète).

AI versus Human ? Est-ce la bonne question ?

En fait la méthodologie montre que la comparaison complète a été réalisée sur 14 études : un entonnoir géant qui a filtré les 31 587 études…

Sans remettre en cause cet excellent et massif travail, très bien documenté, avec des sommités et des gros outils statistiques performants, il est a retenir que l’approche part encore de méthodes anciennes de comparaisons, nécessaires à la publication dans les revues internationales et au peer-review, sans pour autant se confronter à la vie réelle.

Par ailleurs le deep-learning n’est qu’une partie de l’IA, cela ne fait pas tout d’où l’intérêt aussi de parler la même langue…

Je ne permettrais pas de juger donc la position « contre » l’intelligence artificielle versus l’humain dans ce sujet de diagnostic d’imagerie médicale (les analyses sont bonnes) car je pense qu’il ne faut pas les opposer, mais les associer de façon synergique : encore faut –il que l’AI soit bien faite…

C’est là tout l’intérêt de l’article : revenons aux discussions cependant pertinentes et sur les conclusions très intéressantes qui montrent les lacunes de l’ensemble des projets décrits et analysés…

  1. beaucoup de mauvaises définitions des données (structurées ou non)
  2. biais importants (sur de la sélection de données retrospectives, fausses hypothèses, méthodes statistiques…)
  3. corrélations fausses, mauvais testing, validations arbitraires, mauvaise terminologie
  4. pas de discussion entre les analystes/développeurs et les cliniciens
  5. sans parler des mauvaises méthodes et hyperparamétrages de machine-learning, des architectures technologiques utilisées, du partage des données qui ne sont pas dans les gold standards It ou des études cliniques

bref, évoquer de l’IA dans un projet, n’est pas tout….

Ce papier a le mérite de décrire tout ce qu’il ne faut pas faire… et –merci / ouf ! – fait partie intégrante (d’une partie seulement…) de mes recommandations dans l’ouvrage publié cette semaine et disponible en souscription…

La prochaine fois avant d’investir dans un projet, prenez les bons experts !!

https://www.remedium.co/indexai

Tags: ,