Réglementation de l'IA dans le secteur de la santé en 2024 : approches de l'UE et de la FDA

In today’s rapidly evolving healthcare landscape, the integration of Artificial Intelligence (AI) is no longer a futuristic concept; it’s an essential resource that industry leaders need to harness to remain competitive. From precision medicine to ​​predictive diagnosis to drug discovery, AI is revolutionising the practice of medicine and redefining the competitive landscape of the healthcare sector.

But these advances are not without risks. Whether you’re a researcher, investor, or medical practitioner, you need to understand the limits of AI technology and the likely directions it will take under the guidance of regulators, who are scrambling to monitor and control the frenetic pace of innovation in the healthcare field.

In this article, written in cooperation with Darya Lialina, Quality and Regulatory Affairs Manager at Spyrosoft, we’ll take a closer look at how AI is applied in the healthcare industry and what implications the new AI regulations will have for the sector in 2024.

Quels sont les avantages de l'IA dans la santé ? 

L'intelligence artificielle offre de nombreux avantages dans le domaine de la santé, révolutionnant le secteur de diverses manières. Citons notamment :

Diagnostics et détection des maladies 

L'IA peut analyser des images médicales, telles que les radiographies, les IRM et les scanners, pour contribuer à la détection précoce et précise de maladies comme le cancer, le diabète et les pathologies cardiovasculaires.

Il peut fournir une interprétation rapide et cohérente des images, réduisant les risques d'erreur humaine et améliorant le diagnostic.

Traitement et médecine personnalisés 

L'IA peut analyser les données des patients, y compris les antécédents médicaux, afin d'élaborer des plans de traitement personnalisés et de suggérer les médicaments et thérapies les plus efficaces. La médecine personnalisée peut améliorer les résultats des traitements et minimiser les effets indésirables.

Analyse prédictive 

L'IA peut prévoir les épidémies, les réadmissions de patients et les besoins de maintenance des équipements médicaux en analysant de vastes quantités de données. Cela permet aux prestataires de soins de santé d'allouer les ressources efficacement et d'améliorer les soins aux patients.

Assistants de santé virtuels et chatbots 

Les assistants virtuels et les chatbots alimentés par l'IA peuvent assurer un support 24h/24 et 7j/7, répondre aux questions des patients et fournir des conseils de santé. Ils peuvent contribuer à alléger la charge des professionnels de santé et à améliorer l'engagement des patients.

Surveillance à distance 

L'IA permet la surveillance à distance des patients, permettant aux prestataires de soins de suivre en temps réel les signes vitaux et l'état de santé des patients. Cela est particulièrement précieux pour la gestion des maladies chroniques et la garantie d'une intervention précoce.

En savoir plus sur les autres applications de l'IA dans le secteur de la santé et les bénéfices qu'elles apportent.

Comprendre les risques posés par l'utilisation de l'IA dans les soins de santé 

Le principal avantage desystèmes d'IA, and at the same time their biggest risk, lies in their capability to automatically learn from vast amounts of training data generated during the routine delivery of medical services. This hands-off approach presents a number of risks that are novel and unique to this technology, including: 

• Manque d'explicabilité – Due to this purely data-driven approach, it is often unclear what exactly the model learns and how it will behave in an environment that is different from the one in which it has been created. Due to this lack of explainability, modern AI systems are often described as opaque or as a “black box”, whose inner workings remain elusive. 

• Biais – First of all, there is a notable lack of diversity in the electronic health record (EHR) used to train many AI/ML enabled healthcare systems, which in turn can result in biased outputs. Additionally, the misuse of certain features present in the data can skew the results of an algorithm, such as when money spent on healthcare was included among factors for estimating the level of illness in patients by one popular algorithm. This led the algorithm to conclude that les personnes de couleur, qui ont tendance à dépenser moins d'argent en soins de santé, étaient moins malades que les patients blancs présentant des pathologies similaires. 

• Performances prédictives médiocres – Tous les systèmes d'IA et de ML présentent des performances prédictives irrégulières en raison de facteurs de confusion et de décalage de domaine. Par exemple, un modèle d'apprentissage automatique (ML) qui a été entraîné à prédire avec succès une fracture de la hanche à partir de radiographies primarily relied on confounding factors such as the CT scanner model or patient age, which the ML model could infer from the scans. When deployed in a hospital with different CT scanners or different patient demographics, a problem known as domain shift, such a model cannot be trusted to make correct predictions.  

• Absence de réglementations claires – Universally applicable AI guidelines (or even principles) do not exist, much less any that would apply to the healthcare sector in particular. Researchers and industry leaders are often in a position of having to anticipate the future rules that might replace current guidelines or apply to currently unregulated areas. Technical and business decisions taken today may prove fatal if they conflict with future, or unknown rules.  

• Lacunes de compétences – Computer scientists who create AI systems typically lack medical knowledge while clinicians usually possess limited understanding of complex algorithms. The business side of a project may lack knowledge in both domains. Building safe and performant AI healthcare tools requires substantial interdisciplinary collaboration and knowledge transfer.  

Overall, a general understanding of these risks by all stakeholders is essential in reducing the likelihood of incorrect diagnoses, ineffective treatments, and other undesirable behaviour by AI systems. Additionally, the people building and marketing AI healthcare systems need to have their finger on the pulse of regulatory trends in their jurisdiction. 

Fundamentally, regulations should address risks – to health and safety, to the environment, to the economy, to consumers, etc. – and their causes. Rules and procedures that are based on science, focused, and proportionate are more effective, and less costly. 

Réglementations américaines actuelles et proposées relatives à l'utilisation de l'IA dans le secteur de la santé

The United States regulates industry in a particular manner. The individual states are the primary source of legislation on the issues of public safety, health, welfare, but the federal government is charged with regulating interstate and foreign commerce. Owing to this unstable balance of power, overambitious federal legislation is often rejected by the court. In the void left by centralised legislation from the federal government, agencies of the executive branch are able to regulate activities important to the interests of the nation, and in some cases, to pre-empt state laws.

L'une de ces agences est la Food and Drug Administration (FDA), qui s'intéresse vivement à la formulation de réglementations et de politiques encadrant l'IA dans les applications médicales. La FDA a approuvé 692 dispositifs médicaux intégrant l'IA/ML (en date d'octobre 2023), avec plus de 80 % d'entre eux depuis 2019 (commercialisés via l'autorisation 510(k), accordée dans le cadre d'une demande De Novo, ou d'une autorisation de mise sur le marché). Il convient toutefois de noter qu'à la date de rédaction de cet article, la FDA n'a approuvé aucun dispositif reposant sur une architecture d'IA purement générative.

La liste des dispositifs médicaux intégrant l'IA/ML commercialisés aux États-Unis est disponible ici.

Dans son Plan d'action 2021, la FDA a défini cinq objectifs spécifiques pour la surveillance pratique des logiciels basés sur l'IA/ML en tant que dispositif médical (SaMD)

• Cadre réglementaire sur mesure – Les réglementations proposées se concentrent sur le problème des systèmes d'IA qui apprennent au fil du temps et exigent un « Predetermined Change Control Plan », récemment publié sous la forme d'unprojet de lignes directrices. Ce plan doit définir les aspects « quoi » du système d'IA qui peuvent être adaptés par l'apprentissage et doit expliquer « comment » exactement le système met en œuvre l'adaptation tout en restant sûr et efficace

• Bonnes pratiques de machine learning – Ten guiding principles are proposed that promote safe, effective, and high-quality medical devices. One of these principles is that “Clinical Study Participants and Data Sets Are Representative of the Intended Patient Population”, which addresses the aforementioned domain shift problem. Another principle states that “Focus Is Placed on the Performance of the Human-AI Team” and promotes human interpretability of the system and therefore encourages the development of transparent rather than opaque black box ML models.

• Approche centrée sur le patient avec une transparence accrue – Transparency of AI systems is crucial not only for clinicians but for patients as well. Just as patients can ask their doctor why they, for example, recommend a certain treatment plan they should be able to ask that question to an AI system that made that recommendation. This is sometimes referred to as a “right to explanation”, similar to the one found in the EU’s GDPR, as mentioned below.

• Réduire les biais algorithmiques – AI/ML systems, which are usually trained with data from historical datasets, can be susceptible to biases. This is because they can reflect the biases that are inherent in the data they are trained with. Given that healthcare delivery is often influenced by aspects such as race, ethnicity, and socio-economic status, there are chances that the present biases in our healthcare system could unintentionally be integrated into these algorithms.

• Performances en conditions réelles – Collecting real-world performance information regarding the practical application of SaMD can provide manufacturers with insight into their products usage, highlight areas for enhancements, and help them act promptly on safety or user-friendliness issues. This is again related to the domain shift problem, since a model’s performance that is satisfactory in the training environment may degrade severely when the model encounters unseen data.

Réglementations étatiques en matière d'IA

Pour en venir brièvement aux initiatives législatives au niveau des États, un exemple notable provient de

AB 311, concernant les « outils de décision automatisés », actuellement à l'étude par l'Assemblée de Californie. La loi s'appliquerait à la fois aux déployeurs publics et privés de systèmes automatisés, notamment dans le secteur de la santé, et leur imposerait de :

• Soumettre les évaluations d'impact annuelles
• Communiquer les raisons qui sous-tendent chacune des décisions du système, si le sujet de la décision est une personne physique
• Offrir au sujet de la décision la possibilité d'être examiné par un système non automatisé, s'il s'agit d'une personne physique
• Développez des mesures de protection, documentez les limites du système et communiquez-les aux utilisateurs et aux sujets du système
• Désigner une personne responsable de la gouvernance / conformité
• Rédiger une politique accessible au public décrivant les outils utilisés, leurs risques et les mesures prises pour atténuer ces risques

Le décret sur le développement sûr, sécurisé et digne de confiance de l'IA

One of the most recent actions aimed at regulating AI in the healthcare sector in the US has been issuing the Executive Order on safe, secure, and trustworthy development of Artificial Intelligence by President Joe Biden. The order outlines several key actions to achieve this goal. Below you can find a summary of the most important ones from the perspective of the healthcare industry:

Nouvelles normes pour la sécurité et la sûreté de l'IA :

• L'exigence de partager les résultats des tests de sécurité et les informations critiques avec le gouvernement garantit que les systèmes d'IA utilisés dans le domaine de la santé sont sûrs et dignes de confiance.
• Le développement de normes, d'outils et de tests pour la sûreté et la sécurité de l'IA est particulièrement pertinent pour le secteur de la santé, où la sécurité des patients est primordiale.

Protection de la vie privée des Américains :

• Prioriser le développement de techniques préservant la vie privée dans l'IA peut contribuer à protéger les données de santé sensibles des patients.
• Renforcer la recherche et les technologies préservant la vie privée est essentiel pour protéger les informations médicales des patients.

Promouvoir l'équité et les droits civiques :

• Les applications d'IA dans le domaine de la santé doivent répondre aux problématiques liées à la discrimination et aux biais, en particulier dans des domaines tels que le diagnostic et les recommandations de traitement.
• Garantir l'équité dans l'utilisation de l'IA dans les soins de santé est essentiel pour maintenir un accès équitable et des résultats pour tous les patients.

Défendre les consommateurs, les patients et les étudiants :

• L'utilisation responsable de l'IA dans le secteur de la santé peut conduire au développement de médicaments salvateurs et de traitements innovants.
• Les outils éducatifs assistés par IA peuvent aider à former les professionnels de santé et à améliorer l'enseignement des soins de santé.

Promouvoir l'innovation et la concurrence :

• Les principes et les bonnes pratiques en matière d'IA devraient inclure des considérations pour les professionnels de santé, l'IA étant de plus en plus intégrée à la pratique médicale et à l'administration.
• Traiter la question du déplacement professionnel dans le secteur de la santé est essentiel pour soutenir les travailleurs lors de l'adoption des technologies d'IA.

Garantir une utilisation responsable et efficace de l'IA par les pouvoirs publics :

• Les orientations gouvernementales sur l'utilisation de l'IA peuvent influencer la manière dont les agences fédérales et les organisations de santé emploient les technologies d'IA.
• L'acquisition de produits et services d'IA est pertinente pour les agences de santé cherchant à adopter des solutions d'IA.

Les éléments les plus critiques du décret pour le secteur de la santé sont ceux qui garantissent la sûreté, la sécurité et l'usage éthique de l'IA, ainsi que ceux qui promeuvent un accès équitable et des résultats pour tous les patients.

Comment l'UE va réglementer l'utilisation de l'IA dans le domaine de la santé

The European Commission, the European Medicines Agency (EMA), and the International Coalition of Medicines Regulatory Authorities (ICMRA) are working together to develop coherent policies and regulations addressing the complex challenges of AI use in healthcare. Some of the current suggestions for future regulations include:

• Surveillance renforcée – AI healthcare businesses should have a multi-disciplinary oversight committee to oversee product development to understand and manage the implications of higher-risk AI. Regulators will establish guidelines for the designation of a Qualified Person to oversee AI / ML compliance

• Explicabilité – The performance of so-called “black-box” models may justify their use in some cases, but wherever possible, developers should make an effort to unveil the inner-workings of their tools. Some recommendations include the provision of feature importance lists, SHAP and/or LIME analyses, and similar explainability metrics, not just for the model but also for individual inferences during deployment.

• Intégrité des données – Future rules on data provenance, diversity, authentication, validation, protection, and usage should follow the principles of necessity (data should be strictly relevant), proportionality (collect only the data that’s needed) and subsidiarity (use the least sensitive data possible).

• Humain dans la boucle – The inclusion of human agency and oversight within the development and deployment of AI/ML tools will help to build trust in their effectiveness, reliability, and fairness. This “human-centric” approach should extend beyond collection and modelling to also encompass a reliance on user and patient reported outcomes in the evaluation of AI/ML tools.

• Normes internationales – Regulators should encourage the international development and standardisation of sound machine learning practices in the healthcare industry under the principles of reliability, quality, transparency and understandability. Medical device classification rules should depend on factors such as human oversight, safeguards, self-learning, and autonomy.

Nombre de ces lignes directrices proposées sont actuellement à l'étude dans le cadre de la proposition Règlement sur l'IA de la Commission européenne. Le projet de règlement sur l'IA définit comme objectifs concrets 1) de créer une définition juridique du « système d'IA », où une définition de travail est une …logiciel développé avec des techniques et des approches [spécifiques] et qui peut, pour un ensemble donné d'objectifs définis par l'homme, générer des résultats tels que du contenu, des prédictions, des recommandations ou des décisions influençant les environnements avec lesquels il interagit. Et 2) d'adopter une approche basée sur les risques qui propose différentes réglementations en fonction des catégories de risques suivantes :

• Risque inacceptable – l'IA est manipulatrice de manière préjudiciable, exploite des groupes vulnérables, met en œuvre un scoring social pour les autorités publiques ou utilise des systèmes d'identification biométrique à des fins répressives)

• Risque élevé – L'IA utilisée comme composant de sécurité ou dans certains domaines tels que la catégorisation des personnes physiques ou la gestion des infrastructures critiques

• Risque limité – Chatbots, IA générative pour l'image, l'audio ou la vidéo

• Risque faible – Utilisation limitée ou périphérique de l'IA ou du ML

AI systems with an unacceptable risk will be banned as they are considered a clear threat to people’s safety. Providers of high-risk AI systems will be required to register in a EU-wide database and such systems are subject to a range of requirements particularly on risk management, testing, technical robustness, data training and data governance, transparency, human oversight, and cybersecurity. Applications associated with a limited risk are only subject to a limited set of transparency obligations, whereas low risk ones are free from any obligations.

Enfin, le Règlement général sur la protection des données (RGPD) de l'UE garantit le droit à une « information significative sur la logique » des systèmes algorithmiques. Cela peut être interprété comme « un droit à l'explication », selon lequel les décisions automatisées par l'IA doivent être accompagnées d'une explication compréhensible par l'humain. En outre, le RGPD stipule que les systèmes algorithmiques ne doivent pas prendre de décisions importantes affectant les droits légaux, sauf s'il existe un certain niveau de supervision humaine.

Collaborez avec nous pour garantir que votre logiciel est conforme aux réglementations en matière d'IA 

As shown above, the guiding principles behind the regulations being formulated by the US and the EU are similar. While the direction of regulations in the EU is relatively clear, it is too early to tell which principles will be formally implemented into US law, and when. As of this writing, most of these principles only exist within statements of policy, and are not enacted. The most notable exception is the EU’s privacy law (GDPR) which already includes requirements relating to the explainability of AI systems and the need for human involvement in some automated decisions.

Rapidly evolving AI technologies represent unique opportunities for novel software solutions for healthcare analytics, personalised medicine, decision support systems, and other uses of AI in medicine. At the same time, software developers and computer scientists must be cognizant of incoming regulations surrounding AI in the healthcare industry. Spyrosoft has a longstanding track record of meeting this two-pronged challenge, and is the ideal collaborator for businesses seeking to leverage AI in the healthcare sector.

Our experience in creating software solutions for medical and in vitro diagnostic medical devices (IVD) demonstrates a nuanced understanding of the complex needs of this industry. Along with our expertise in software development, we provide comprehensive services from Quality Management System (QMS) to regulatory support. Partner with us to pave the way forward in AI healthcare.