La notion de « Garantie Humaine » de l’IA renforcée dans le projet de loi de bioéthique après le passage au Sénat. Le point de vue de David GRUSON et Judith MEHL

Article publié  par David GRUSON (Fondateur d’ETHIK-IA et Directeur du programme santé Jouve) et  Judith MEHL, Cco-fondatrice et Directrice Générale  d’ETHIK-IA)

Nous avions proposé avec Ethik IA, voici deux ans et demi, l’introduction d’un principe de garantie humaine de l’intelligence artificielle en santé.

Cette proposition avait pu être reprise dans le cadre du rapport de Cédric VILLANI sur l’intelligence artificielle et, plus spécifiquement, dans le cadre de l’avis 129 et du rapport dédié émis par le Comité consultatif national d’éthique dans le cadre du processus de préparation de la révision bioéthique.

Le passage du projet de loi bioéthique au Sénat représente une nouvelle étape forte de reconnaissance et de concrétisation de ce principe général de régulation positive de l’IA en santé.

Quel est le principe de la  « Garantie Humaine » ?  

S’ouvrir résolument à l’innovation et essayer d’en réguler les enjeux éthiques au fil de son application : c’est le sens du principe d’une « Garantie Humaine » de l’intelligence artificielle en santé.

En retenant ce principe, la France fait le choix d’une approche enfin plus ouverte de l’innovation, dans un cadre législatif et réglementaire qui est déjà, il est vrai, le plus protecteur au monde.

Le concept de « garantie humaine » peut paraître abstrait mais il est, en réalité, très opérationnel. Dans le cas de l’IA, l’idée est d’appliquer les principes de régulation de l’intelligence artificielle en amont et en aval de l’algorithme lui-même en établissant des points de supervision humaine. Non pas à chaque étape, sinon l’innovation serait bloquée. Mais sur des points critiques identifiés dans un dialogue partagé entre les professionnels, les patients et les concepteurs d’innovation.

Ce principe général ne veut pas dire, cependant, que le contrôle technique de l’algorithme lui-même ne sera pas assuré. En effet, si l’IA est intégrée à un dispositif médical ou, plus largement, à un produit de santé (ce qui correspond aujourd’hui, en pratique, à l’essentiel des cas), elle sera soumise aux contrôles précis prévus dans le cadre des mécanismes de mise sur le marché des produits de santé.

Quelle application pour cette supervision humaine ? 

Dans les établissements de santé, la supervision peut s’exercer avec le déploiement de « collèges de garantie humaine » associant médecins, professionnels paramédicaux et représentants des usagers. Leur vocation serait d’assurer a posteriori une révision de dossiers médicaux pour porter un regard humain sur les options thérapeutiques conseillées ou prises par l’algorithme.

L’objectif consiste à s’assurer « au fil de l’eau » que l’algorithme reste sur un développement de Machine Learning à la fois efficace médicalement et responsable éthiquement. Les dossiers à auditer pourraient être définis à partir d’événements indésirables constatés, de critères prédéterminés ou d’une sélection aléatoire.

De manière concrète, cette supervision pourrait aussi s’exercer en amont du traitement par le recours à une télémédecine de garantie humaine de l’algorithme (mobilisation d’un second avis spécialisé en cas de doute par le médecin de première ligne ou le patient sur la solution proposée par l’algorithme). Cet usage de la télémédecine entre tout à fait dans les cas de recours de télé-expertise définis dans le cadre juridique posé en 2009-2010. Depuis l’avenant n°6 à la convention médicale de 2018, cette télé-expertise peut, de plus, faire l’objet d’une valorisation économique.

Quelle est la traduction législative de la « Garantie humaine » dans le texte définitif ? 

Ce principe avait été très clairement repris dans l’exposé des motifs et l’étude d’impact du projet de loi bioéthique. Il était ensuite intégré à l’article 11 du texte adopté à l’unanimité en première lecture à l’Assemblée nationale.

On retrouvait dans cette première version du texte les éléments essentiels proposés ab initio :

• Information du patient sur le recours à l’IA au premier alinéa ;
• Principe de garantie humaine lui-même au deuxième alinéa.

Néanmoins, la rédaction retenue pour la déclinaison opérationnelle de ce principe pouvait être considérée comme inutilement complexe. Le passage du projet de loi bioéthique au Sénat a permis une heureuse clarification rédactionnelle.

L’information du patient sur le recours à l’IA est très clairement réaffirmée.

Deux utiles exceptions à cette information sont aménagées : « l’urgence » et « l’impossibilité » d’informer. Ces dérogations devront, on le comprend aisément, être concrètement définies en pratique.

Le principe général d’une garantie humaine de l’intelligence est, quant à lui, désormais décliné de manière pragmatique en trois leviers opérationnels :

• Une norme de garantie humaine dans la déclinaison opérationnelle de l’algorithme pour un patient déterminé : « la saisie d’informations relatives au patient dans le traitement algorithmique se fait sous le contrôle du professionnel de santé qui a recourt audit traitement »;

• Une garantie humaine dans la décision elle-même : « aucune décision médicale ne peut être prise sur le seul fondement d’un traitement algorithmique »;
• Une garantie humaine sous forme de pilotage qualité de l’algorithme en vie réelle. Ce pilotage qualité inclut les concepteurs et les utilisateurs de l’algorithme : « Les concepteurs d’un traitement algorithmique mentionné au premier alinéa s’assurent de la transparence du fonctionnement de l’outil pour ses utilisateurs ».

Un décret en Conseil d’Etat est, par ailleurs, désormais prévu pour la mise en œuvre de l’article 11.

Quelles sont les suites envisagées pour une application concrète ? 

Il est à relever que le principe de garantie humaine reçoit, dans le même moment, des concrétisations dans deux autres cadres très significatifs.

• La notion de garantie humaine a été reprise par la Commission Européenne, lors de la présentation de sa stratégie en matière de données et d’intelligence artificielle le 19 février,

• La garantie humaine devrait être intégrée à la grille d’auto-évaluation des dispositifs médicaux intégrant de l’IA préalablement à leur admission au remboursement, comme l’a annoncé Isabelle ADENOT, membre du collège de la Haute Autorité de Santé dans le cadre d’un colloque dédié au principe par la Chaire Santé de Sciences Po le 14 janvier dernier,

• Le principe de garantie humaine fait actuellement l’objet de discussions et prolongements dans le cadre de la task-force dédiée par l’OMS à la régulation de l’IA en santé en vue de l’émission d’une recommandation dans le courant du premier semestre 2020.

En conclusion, le principe de garantie humaine de l’intelligence artificielle en santé connaît donc une phase de renforcement et de concrétisation rapides, la consolidation et la précision du cadre législatif, le conditionnement de l’admission au remboursement et une reconnaissance internationale.

Les innovateurs en IA et les utilisateurs d’algorithmes médicaux doivent désormais engager un travail opérationnel de préparation en vue de leur mise en conformité à ces nouvelles exigences de régulation positive.  

Pour aller plus loin : 

• Projet de loi bioéthique au Sénat
• Rapport de Cédric VILLANI sur l’intelligence artificielle
• Avis 129 et du rapport dédié émis par le Comité consultatif national d’éthique
• Avenant n°6 à la convention médicale de 2018, cette télé-expertise
• Éthique de l’IA : quels enjeux après la création du Comité d’éthique du numérique ?
• [VIDEO] L’intelligence artificielle en biologie médicale. Mr David GRUSON -Ethik-IA
• Pourquoi parle-t-on de la “révolution du pilotage des données de Santé” ? David GRUSON et 6 experts nous expliquent

Nous remercions vivement David GRUSON  porteur de l’initiative ETHIK-IA  et  Judith MEHL, (Directrice Générale  d’ETHIK-IA) pour partager leur expertise  sur l’Intelligence Artificielle pour nos fidèles lecteurs de  ManagerSante.com