In today’s rapidly evolving healthcare landscape, the integration of Artificial Intelligence (AI) is no longer a futuristic concept; it’s an essential resource that industry leaders need to harness to remain competitive. From precision medicine to ​​predictive diagnosis to drug discovery, AI is revolutionising the practice of medicine and redefining the competitive landscape of the healthcare sector.

But these advances are not without risks. Whether you’re a researcher, investor, or medical practitioner, you need to understand the limits of AI technology and the likely directions it will take under the guidance of regulators, who are scrambling to monitor and control the frenetic pace of innovation in the healthcare field.

In this article, written in cooperation with Darya Lialina, Quality and Regulatory Affairs Manager at Spyrosoft, we’ll take a closer look at how AI is applied in the healthcare industry and what implications the new AI regulations will have for the sector in 2024.

ما هي فوائد الذكاء الاصطناعي في الرعاية الصحية؟ 

يقدّم الذكاء الاصطناعي فوائد عديدة في مجال الرعاية الصحية، محدثًا تحولًا جذريًا في القطاع بطرق متعددة. ومن هذه الفوائد:

التشخيص والكشف عن الأمراض 

يمكن للذكاء الاصطناعي تحليل الصور الطبية، مثل الأشعة السينية والتصوير بالرنين المغناطيسي والتصوير المقطعي المحوسب، للمساعدة في الكشف المبكر والدقيق عن أمراض مثل السرطان والسكري وأمراض القلب والأوعية الدموية.

يمكنها تقديم تفسير سريع ومتسق للصور، مما يقلل من احتمالات الخطأ البشري ويحسّن التشخيص.

العلاج والطب الشخصي 

AI can analyse patient data, including medical history, to develop personalised treatment plans and suggest the most effective medications and therapies. Personalised medicine can enhance treatment outcomes and minimise adverse effects. 

التحليلات التنبؤية 

AI can forecast disease outbreaks, patient readmissions, and medical equipment maintenance needs by analysing vast amounts of data. This enables healthcare providers to allocate resources efficiently and improve patient care. 

المساعدون الصحيون الافتراضيون وروبوتات المحادثة 

AI-powered virtual assistants and chatbots can provide 24/7 support, answer patient queries, and offer health advice. They can help alleviate the burden on healthcare professionals and improve patient engagement. 

المراقبة عن بُعد 

AI enables remote patient monitoring, allowing healthcare providers to keep track of patients’ vital signs and health status in real-time. This is particularly valuable for managing chronic conditions and ensuring early intervention. 

اقرأ المزيد عن التطبيقات الأخرى للذكاء الاصطناعي في الرعاية الصحية والفوائد التي تحققها.

كن شريكاً لنا في الامتثال التنظيمي للذكاء الاصطناعي

اكتشف المزيد

فهم المخاطر التي يشكلها استخدام الذكاء الاصطناعي في الرعاية الصحية 

أكبر فائدة منأنظمة AI, and at the same time their biggest risk, lies in their capability to automatically learn from vast amounts of training data generated during the routine delivery of medical services. This hands-off approach presents a number of risks that are novel and unique to this technology, including: 

  • نقص القابلية للتفسير – Due to this purely data-driven approach, it is often unclear what exactly the model learns and how it will behave in an environment that is different from the one in which it has been created. Due to this lack of explainability, modern AI systems are often described as opaque or as a “black box”, whose inner workings remain elusive. 
  • أداء تنبؤي ضعيف – جميع أنظمة الذكاء الاصطناعي والتعلم الآلي لديها أداء تنبؤي غير منتظم بسبب العوامل المربكة وتحول المجال. على سبيل المثال، نموذج تعلّم الآلة (ML) تم تدريبه للتنبؤ بنجاح بكسور الورك من الصور الشعاعية primarily relied on confounding factors such as the CT scanner model or patient age, which the ML model could infer from the scans. When deployed in a hospital with different CT scanners or different patient demographics, a problem known as domain shift, such a model cannot be trusted to make correct predictions.  
  • غياب اللوائح الواضحة – Universally applicable AI guidelines (or even principles) do not exist, much less any that would apply to the healthcare sector in particular. Researchers and industry leaders are often in a position of having to anticipate the future rules that might replace current guidelines or apply to currently unregulated areas. Technical and business decisions taken today may prove fatal if they conflict with future, or unknown rules.  
  • فجوات الكفاءة – Computer scientists who create AI systems typically lack medical knowledge while clinicians usually possess limited understanding of complex algorithms. The business side of a project may lack knowledge in both domains. Building safe and performant AI healthcare tools requires substantial interdisciplinary collaboration and knowledge transfer.  

Overall, a general understanding of these risks by all stakeholders is essential in reducing the likelihood of incorrect diagnoses, ineffective treatments, and other undesirable behaviour by AI systems. Additionally, the people building and marketing AI healthcare systems need to have their finger on the pulse of regulatory trends in their jurisdiction. 

Fundamentally, regulations should address risks – to health and safety, to the environment, to the economy, to consumers, etc. – and their causes. Rules and procedures that are based on science, focused, and proportionate are more effective, and less costly. 

اللوائح الأمريكية الحالية والمقترحة لاستخدام الذكاء الاصطناعي في الرعاية الصحية

The United States regulates industry in a particular manner. The individual states are the primary source of legislation on the issues of public safety, health, welfare, but the federal government is charged with regulating interstate and foreign commerce. Owing to this unstable balance of power, overambitious federal legislation is often rejected by the court. In the void left by centralised legislation from the federal government, agencies of the executive branch are able to regulate activities important to the interests of the nation, and in some cases, to pre-empt state laws.

إحدى هذه الوكالات هي إدارة الغذاء والدواء (FDA)، الذي يهتم بشدة بصياغة اللوائح والسياسات المتعلقة بالذكاء الاصطناعي في التطبيقات الطبية. وافقت إدارة الغذاء والدواء الأمريكية على 692 جهازاً طبياً مدعوماً بالذكاء الاصطناعي/تعلم الآلة (حتى أكتوبر 2023)، مع أكثر من 80% منها منذ عام 2019 (تم تسويقها عبر تصريح 510(k)، أو منح طلب De Novo، أو الموافقة قبل التسويق). ومع ذلك، تجدر الإشارة إلى أنه حتى كتابة هذه السطور، لم توافق FDA على أي أجهزة تعتمد على بنية AI توليدية بحتة.

يمكن العثور على قائمة الأجهزة الطبية المدعومة بالذكاء الاصطناعي/تعلّم الآلة المسوَّقة في الولايات المتحدة هنا.

في نسختها خطة عمل 2021، حددت FDA خمسة أهداف محددة للإشراف العملي على البرمجيات الطبية (SaMD) القائمة على الذكاء الاصطناعي/تعلم الآلة

  • إطار تنظيمي مُصمَّم خصيصًا – تركز اللوائح المقترحة على مشكلة أنظمة الذكاء الاصطناعي التي تتعلم بمرور الوقت وتتطلب "خطة مراقبة التغييرات المحددة مسبقاً"، والتي نُشرت مؤخراً بصيغةمسودة إرشادات. This plan needs to outline “what” aspects of the AI system can be adapted through learning and has to explain “how” exactly the system implements adaptation while remaining safe and effective
  • ممارسات التعلم الآلي الجيدة – Ten guiding principles are proposed that promote safe, effective, and high-quality medical devices. One of these principles is that “Clinical Study Participants and Data Sets Are Representative of the Intended Patient Population”, which addresses the aforementioned domain shift problem. Another principle states that “Focus Is Placed on the Performance of the Human-AI Team” and promotes human interpretability of the system and therefore encourages the development of transparent rather than opaque black box ML models.
  • نهج يركز على المريض مع زيادة الشفافية – Transparency of AI systems is crucial not only for clinicians but for patients as well. Just as patients can ask their doctor why they, for example, recommend a certain treatment plan they should be able to ask that question to an AI system that made that recommendation. This is sometimes referred to as a “right to explanation”, similar to the one found in the EU’s GDPR, as mentioned below.
  • تقليل تحيز الخوارزميات – AI/ML systems, which are usually trained with data from historical datasets, can be susceptible to biases. This is because they can reflect the biases that are inherent in the data they are trained with. Given that healthcare delivery is often influenced by aspects such as race, ethnicity, and socio-economic status, there are chances that the present biases in our healthcare system could unintentionally be integrated into these algorithms.
  • الأداء في العالم الحقيقي – Collecting real-world performance information regarding the practical application of SaMD can provide manufacturers with insight into their products usage, highlight areas for enhancements, and help them act promptly on safety or user-friendliness issues. This is again related to the domain shift problem, since a model’s performance that is satisfactory in the training environment may degrade severely when the model encounters unseen data.

لوائح الذكاء الاصطناعي على مستوى الولاية

بالانتقال لفترة وجيزة إلى الجهود التشريعية على مستوى الولاية، يأتي مثال بارز من

AB 311، بشأن "أدوات القرار الآلية" قيد النظر حالياً من قبل جمعية كاليفورنيا التشريعية. سيسري القانون على كل من الجهات العامة والخاصة التي تنشر الأنظمة الآلية، بما في ذلك قطاع الرعاية الصحية، وسيلزمها بما يلي:

  • تقديم تقييمات الأثر السنوية
  • إبلاغ الأسباب الكامنة وراء كل قرار من قرارات النظام، إذا كان موضوع القرار شخصاً طبيعياً
  • منح الشخص المعني بالقرار الفرصة ليُدرس أمره من خلال نظام غير آلي، إذا كان شخصًا طبيعيًا
  • طوّر ضمانات، ووثّق حدود النظام، وأبلغها للمستخدمين والخاضعين للنظام
  • تعيين شخص مخصص للحوكمة / الامتثال
  • صياغة سياسة متاحة للعموم تصف الأدوات المستخدمة ومخاطرها والخطوات المتخذة للتخفيف من تلك المخاطر

الأمر التنفيذي بشأن التطوير الآمن والمضمون والموثوق للذكاء الاصطناعي

One of the most recent actions aimed at regulating AI in the healthcare sector in the US has been issuing the Executive Order on safe, secure, and trustworthy development of Artificial Intelligence by President Joe Biden. The order outlines several key actions to achieve this goal. Below you can find a summary of the most important ones from the perspective of the healthcare industry:

معايير جديدة لسلامة وأمن الذكاء الاصطناعي:

  • يضمن شرط مشاركة نتائج اختبارات السلامة والمعلومات الحيوية مع الحكومة أن أنظمة الذكاء الاصطناعي المستخدمة في الرعاية الصحية آمنة وموثوقة.
  • يُعد تطوير المعايير والأدوات والاختبارات لسلامة وأمن الذكاء الاصطناعي ذا أهمية خاصة في مجال الرعاية الصحية، حيث تكون سلامة المرضى أمرًا بالغ الأهمية.

حماية خصوصية الأمريكيين:

  • يمكن أن يساعد إعطاء الأولوية لتطوير تقنيات الحفاظ على الخصوصية في الذكاء الاصطناعي في حماية بيانات صحة المرضى الحساسة.
  • يُعد تعزيز الأبحاث والتقنيات التي تحافظ على الخصوصية أمراً حيوياً لحماية المعلومات الطبية للمرضى.

تعزيز الإنصاف والحقوق المدنية:

  • يجب أن تعالج تطبيقات الذكاء الاصطناعي في الرعاية الصحية القضايا المتعلقة بالتمييز والتحيز، لا سيما في مجالات مثل التشخيص وتوصيات العلاج.
  • يعد ضمان الإنصاف في استخدام الذكاء الاصطناعي في الرعاية الصحية أمراً بالغ الأهمية للحفاظ على الوصول العادل والنتائج لجميع المرضى.

الدفاع عن المستهلكين والمرضى والطلاب:

  • يمكن أن يؤدي الاستخدام المسؤول للذكاء الاصطناعي في الرعاية الصحية إلى تطوير أدوية منقذة للحياة وعلاجات مبتكرة.
  • يمكن للأدوات التعليمية المدعومة بالذكاء الاصطناعي أن تساعد في تدريب متخصصي الرعاية الصحية وتحسين التعليم في مجال الرعاية الصحية.

تعزيز الابتكار والمنافسة:

  • يجب أن تتضمن مبادئ وأفضل الممارسات الخاصة بالذكاء الاصطناعي اعتبارات للعاملين في مجال الرعاية الصحية، نظرًا لأن الذكاء الاصطناعي يتكامل بشكل متزايد في الممارسة الطبية والإدارة.
  • معالجة إحلال الوظائف في مجال الرعاية الصحية أمر ضروري لدعم العاملين أثناء تبني تقنيات الذكاء الاصطناعي.

ضمان الاستخدام الحكومي المسؤول والفعّال للذكاء الاصطناعي:

  • يمكن للتوجيهات الحكومية بشأن استخدام الذكاء الاصطناعي أن تؤثر على كيفية استخدام الوكالات الفيدرالية ومؤسسات الرعاية الصحية لتقنيات الذكاء الاصطناعي.
  • يعد الاستحواذ على منتجات وخدمات الذكاء الاصطناعي أمرًا ذا صلة بوكالات الرعاية الصحية التي تتطلع إلى تبني حلول الذكاء الاصطناعي.

The most critical elements of the Executive Order for healthcare are those that ensure the safety, security, and ethical use of AI, as well as those that promote equitable access and outcomes for all patients.

كيف سينظّم الاتحاد الأوروبي استخدام الذكاء الاصطناعي في مجال الرعاية الصحية

The European Commission, the European Medicines Agency (EMA), and the International Coalition of Medicines Regulatory Authorities (ICMRA) are working together to develop coherent policies and regulations addressing the complex challenges of AI use in healthcare. Some of the current suggestions for future regulations include:

  • رقابة معززة – AI healthcare businesses should have a multi-disciplinary oversight committee to oversee product development to understand and manage the implications of higher-risk AI. Regulators will establish guidelines for the designation of a Qualified Person to oversee AI / ML compliance
  • القابلية للتفسير – The performance of so-called “black-box” models may justify their use in some cases, but wherever possible, developers should make an effort to unveil the inner-workings of their tools. Some recommendations include the provision of feature importance lists, SHAP and/or LIME analyses, and similar explainability metrics, not just for the model but also for individual inferences during deployment.
  • سلامة البيانات – Future rules on data provenance, diversity, authentication, validation, protection, and usage should follow the principles of necessity (data should be strictly relevant), proportionality (collect only the data that’s needed) and subsidiarity (use the least sensitive data possible).
  • الإنسان في الحلقة – The inclusion of human agency and oversight within the development and deployment of AI/ML tools will help to build trust in their effectiveness, reliability, and fairness. This “human-centric” approach should extend beyond collection and modelling to also encompass a reliance on user and patient reported outcomes in the evaluation of AI/ML tools.
  • المعايير الدولية – Regulators should encourage the international development and standardisation of sound machine learning practices in the healthcare industry under the principles of reliability, quality, transparency and understandability. Medical device classification rules should depend on factors such as human oversight, safeguards, self-learning, and autonomy.

العديد من هذه الإرشادات المقترحة قيد النظر حاليًا في المقترح قانون الذكاء الاصطناعي الصادر عن المفوضية الأوروبية. تحدد مسودة قانون الذكاء الاصطناعي أهدافاً ملموسة هي 1) إنشاء تعريف قانوني لـ "نظام الذكاء الاصطناعي"، حيث يكون التعريف العملي هو …software that is developed with [specific] techniques and approaches and can, for a given set of human-defined objectives, generate outputs such as content, predictions, recommendations, or decisions influencing the environments they interact with. و2) اعتماد نهج قائم على المخاطر يقترح لوائح مختلفة اعتماداً على فئات المخاطر التالية:

  • مخاطر غير مقبولة – الذكاء الاصطناعي يتلاعب بشكل ضار، ويستغل الفئات الضعيفة، ويطبّق التقييم الاجتماعي للسلطات العامة أو يستخدم أنظمة التعرف البيومتري لإنفاذ القانون)
  • مخاطر عالية – الذكاء الاصطناعي المستخدم كمكوّن للسلامة أو في مجالات معينة مثل تصنيف الأشخاص الطبيعيين أو إدارة البنية التحتية الحيوية
  • مخاطر محدودة – روبوتات المحادثة والذكاء الاصطناعي التوليدي للصور والصوت أو الفيديو
  • مخاطر منخفضة – استخدام محدود أو هامشي للذكاء الاصطناعي أو تعلم الآلة

AI systems with an unacceptable risk will be banned as they are considered a clear threat to people’s safety. Providers of high-risk AI systems will be required to register in a EU-wide database and such systems are subject to a range of requirements particularly on risk management, testing, technical robustness, data training and data governance, transparency, human oversight, and cybersecurity. Applications associated with a limited risk are only subject to a limited set of transparency obligations, whereas low risk ones are free from any obligations.

أخيرًا، يضمن اللائحة العامة لحماية البيانات في الاتحاد الأوروبي (GDPR) الحق في "معلومات ذات مغزى حول منطق" الأنظمة الخوارزمية. يمكن تفسير ذلك على أنه "حق في التفسير" حيث يجب أن تكون القرارات الآلية التي يتخذها الذكاء الاصطناعي مصحوبة بتفسير مفهوم للبشر. علاوة على ذلك، ينص GDPR على أن الأنظمة الخوارزمية يجب ألا تتخذ قرارات مهمة تؤثر على الحقوق القانونية ما لم يكن هناك مستوى من الإشراف البشري.

تعاون معنا لضمان توافق برمجياتك مع لوائح الذكاء الاصطناعي 

As shown above, the guiding principles behind the regulations being formulated by the US and the EU are similar. While the direction of regulations in the EU is relatively clear, it is too early to tell which principles will be formally implemented into US law, and when. As of this writing, most of these principles only exist within statements of policy, and are not enacted. The most notable exception is the EU’s privacy law (GDPR) which already includes requirements relating to the explainability of AI systems and the need for human involvement in some automated decisions.

Rapidly evolving AI technologies represent unique opportunities for novel software solutions for healthcare analytics, personalised medicine, decision support systems, and other uses of AI in medicine. At the same time, software developers and computer scientists must be cognizant of incoming regulations surrounding AI in the healthcare industry. Spyrosoft has a longstanding track record of meeting this two-pronged challenge, and is the ideal collaborator for businesses seeking to leverage AI in the healthcare sector.

Our experience in creating software solutions for medical and in vitro diagnostic medical devices (IVD) demonstrates a nuanced understanding of the complex needs of this industry. Along with our expertise in software development, we provide comprehensive services from Quality Management System (QMS) to regulatory support. Partner with us to pave the way forward in AI healthcare.

arrow_circle_right جدول المحتويات

Małgorzata Kruszyńska

Malgorzata Kruszynska

باحث أعمال

مقالات ذات صلة