原标题：沈涛等：AI在医药监管领域的风控要点——《药品监管人工智能典型应用场景清单》解读
人工智能（AI）作为当今最具颠覆性的技术之一，正以前所未有的速度改变世界和人们的生活方式。随着AI技术的不断发展，就医药领域而言，AI能通过对行业全流程中产生的大量数据进行分析，从而获得新的重要趋势，为医药健康行业带来便利与效率，促进行业的蓬勃发展。
一、人工智能简史
1956年8月，John McCarthy在达特茅斯会议提出了人工智能（Artificial Intelligence）一词，并得到与会者的一致认可，标志着人工智能的正式诞生。1997年，美国IBM公司研制的并行计算机“深蓝”击败了雄踞世界棋王宝座12年之久的卡斯帕罗夫，标志着国际象棋历史的新时代。2016年，深度学习系统AlphaGo击败围棋世界冠军李世石，成为第一个不让子击败职业围棋棋手的程序。2022年，OpenAI发布名为ChatGPT的现象级语言模型，目前已得到在全世界内的广泛使用，被视为开启人工智能的新纪元。[1]
二、人工智能在医药行业的应用
根据Definitive Healthcare在2023年对86家生物制药和医疗器械公司领导者进行的一项调查，“到2028年，全球人工智能在生命科学市场的规模预计将达到70.9亿美元，复合年增长率（CAGR）为25.23%，50家最大的制药公司中有一半已与人工智能公司达成合作伙伴关系或签订许可协议”[2]。这凸显了生命科学行业对人工智能运用的巨大兴趣和投入。
目前，AI在医疗健康领域的应用较为广泛，在新药研发、医学影像、综合辅助诊断中均能看到其身影，极大程度上改变了医药行业的运作方式。
通过AI系统，医护人员可以快速准确地获取患者的病情信息，为诊断和治疗提供有力依据。比如，在疾病早期识别与筛查方面，以及后续对复杂临床研究数据的处理等阶段，AI能够通过建立预测模型，从而分析特定干预措施对不同患者群体的影响，帮助提升诊断质量、降低误诊率。此外，AI还可以协助医护人员进行药物研发、手术规划等工作，提高医疗服务的专业水平。
AI目前的主要应用领域可分为三大类：（1）医疗管理与行政工作，主要为订单、处方的统计工作及数据录入；（2）诊断支持，如病理审查、症状分析、影像识别等；（3）治疗策略辅助，如个性化用药、数字疗法等。[3]后文将主要就AI的一个新应用领域——医药行业监管展开阐述。
三、国外利用AI进行医疗监管的实践
（一）美国
目前美国并未就AI在医药行业的监管功能出台相关法案，仅就对AI本身的监管出台相关法案，例如FDA于2019年4月2日发布《人工智能医疗器械软件变更监管框架提议（讨论稿）》（Discussion Paper: Proposed Regulatory Framework for Modification to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device, SaMD）[4]，于2023年4月3日发布《人工智能/机器学习支持设备软件功能的预定变更控制计划的营销提交建议的指南草案（Marketing Submission Recommendations for a Predetermined Change Control Plan for Artificial Intelligence/Machine Learning（AI/ML）-Enabled Device Software Functions, Draft Guidance）[5]。
但在其他领域有相关的实践。如在2024年4月6日，宾夕法尼亚州保险部门发布了关于保险公司使用人工智能系统（AI）的通告（Use of Artificial Intelligence Systems by Insurers; Notice 2024-04[54 Pa.B. 1910]）[6]。通告强调了保险公司使用AI系统时必须遵守所有适用的保险法律和法规，还提出保险公司在使用AI系统时应该考虑的潜在风险，如不准确、不公平歧视、数据脆弱性以及缺乏透明度和可解释性。
此外，宾夕法尼亚州于今年1月启动了由ChatGPT Enterprise主导的试点项目，旨在测试生成式人工智能技术在政府员工日常工作中的实际效果。ChatGPT将为宾夕法尼亚州政府OA部门的员工提供文稿编辑、工作描述起草、政策指南查找等服务[7]。
（二）欧盟
相较于美国，AI本身及其监管的发展在欧盟更为瞩目。就AI本身的监管而言，2024年3月13日，欧洲议会通过并批准《欧盟人工智能法案》（Artificial Intelligence Act, AI Act）。该法案是世界上第一个监管人工智能的综合法律框架，以规范人工智能的开发和使用。医药行业中，法案针对高风险的AI医疗器械应用，设定了严格的标准和评估程序。
就利用AI进行监管而言，欧洲药品管理局（EMA）大数据指导小组于2023年7月发布了一份关于人工智能在医药产品生命周期中使用的反思论文草案（Reflection paper on the use of artificial intelligence in the lifecycle of medicines）[8]，对当前关于人工智能如何在医药产品生命周期中使用的思考进行概述。EMA表示，其目标是在使用此类新兴技术支持药品开发时反思与监管审评相关的科学原理。在上市许可后阶段，AI工具可以有效支持药物警戒活动，包括不良事件报告管理和信号检测。
2023年12月，EMA和药品机构负责人（HMA）在欧洲药品监管网络（EMRN）中制定了2023-2028年人工智能工作计划[9]。该计划的制定是为了负责任地促进人工智能在制药和医疗器械行业的使用。其中包括出于内部监管目的实施和监控人工智能、增强全网络分析能力等。
四、人工智能与大陆药品监管
（一）大陆政策沿革
2017年7月，国务院在《新一代人工智能发展规划》[10]中指出，“人工智能在教育、医疗、养老、环境保护、城市运行、司法服务等领域广泛应用，将极大提高公共务精准化水平，全面提升人民生活品质”，点明大陆的AI在医疗健康领域的发展方向。
2023年7月10日，国家发改委、教育部等6部门联合发布《生成式人工智能服务管理暂行办法》[11]，提到“鼓励生成式人工智能技术在各行业、各领域的创新应用”。
就此，于2024年6月18日，国家药监局综合司发布《药品监管人工智能典型应用场景清单》[12]（下称“《监管清单》”）。《监管清单》列出了15个具有引领示范性的、有发展潜力的、针对工作痛点的、需求较为迫切的应用场景，旨在推动人工智能技术在药品监管领域的研究探索，推动人工智能赋能药监系统。
（二）《监管清单》解读
1. 与信用相关的场景
在《监管清单》列明的15个场景中，有如下3个场景提及“信用”：应用4“远程监管”、应用12“业务数据查询”、应用15“风险管理”。
在以上场景中，《监管清单》分别指出可以将人工智能及时在“上市许可持有人信用信息”“药品安全信用档案”中进行嵌入，进行信息检索、内容整合和数据分析等操作。
以“药品安全信用档案”为例：药品安全信用信息主要包括药品安全信用主体的基础信息、监督检查信息、违法违规信息等和其他相关良好行为信息。在AI介入前，通常以IT技术人员传统的组合条件数据查询的模式获得相关的信息，再对得到的原始信息整合、分析后形成报告。但在内嵌相应AI技术后，得益于AI强大的检索和处理能力，不仅可以便捷地进行一键数据抓取，还可以实现复杂条件模糊查询、关联数据汇总查询、生成数据图表等高级功能。此外，AI不仅能基于更为详尽的数据进行分析，同时可以使得报告更为可视、直观，帮助业务人员快速、准确地获取所需数据信息，有效降低沟通成本和人力物料成本，最终为监管决策提供有力支持。
2. 药品说明书的适老化改造
2023年6月，国家药监局即发布《药品说明书适老化改革试点工作方案（征求意见稿）》[13]，明确要求医疗机构、药品零售企业等单位满足不同患者人群的使用需求，解决药品说明书“看不清”等问题，尤其需进行适老化改革。
本次《监管清单》专门于应用场景11中提及，将“人工智能赋能药品说明书适老化改造工作”，以提升老年人用药体验。
《监管清单》指出，可以利用AI模型将药品说明书简化，并开展定制化说明，通过采用多轮人机语音对话、语音播报、生成大字版说明书二维码的形式，辅助老年人获取药品信息。
实践中，百度健康在2023年10月发布名为“AI用药说明书”的应用，采取类似思路。借助文心大模型和数字人创新模式，百度健康AI用药说明书实现用户与使用药师形象的虚拟人的实时交互，致力于解决传统纸质版说明书看不清、看不懂以及字太小的问题[14]。此外，百度健康AI用药说明书支持患者通过文字和语音提问，并根据患者输入的问题生成回答结果，将专业药品知识用通俗易懂的方式来回答。
3. AI在药物警戒中的应用
药物警戒贯穿于药物发展的始终，是药品全生命周期的重要环节。由于对于可能发生的不良反应，在药品上市前的认识一般存在不足和局限性，故药品上市后的监测工作尤显重要。
但长期以来，药品上市后监测受报告数量大、报告质量欠佳的影响，安全性信号的检测效率低下。故上市后检测阶段的一个重要挑战在于如何收集、分析相关的观察性数据，并得出具有较强说服力的结论。
2019年，辉瑞公司研究团队发表了使用AI技术与机器处理程序实现不良事件报告自动管理的试点研究，结果显示AI在不良事件数据提取和报告评估方面均具有可行性[15]。
根据《监管清单》第8个应用场景的有关内容，借助AI技术，可以从“个例安全性报告”中自动提取关键信息实现结构化数据处理，排除重复报告；再基于提取信息的内容质量进行自动分级，筛选包含足够信息量、具备评估价值的安全性报告，以便进行后续分析。
预计未来将有越来越多的企业和监管机构开始探索AI在临床试验期间以及上市后药物警戒中的应用，尤其将分析、评估在临床试验期间无法发现的安全性风险作为首要任务，最终推动药物警戒成为药品全生命周期中AI运用成熟度较高的环节。
（三）风险及应对
AI在医药监管领域的应用仍存在一定的风险和挑战，如模型输出错误、数据代表性不完全、数据泄露、算法歧视等。
（1）模型输出错误
谷歌在本月初宣布退出人工智能驱动的搜索功能“AI概述”，但是仅发布几天，用户便发现其本质的不可靠，如它建议用户在披萨上加浇水、每天至少吃一块小石头等。
为什么会有这种情况的产生？原因在于，如果一个检索增强生成（Retrieval Augmented Generation）系统遇到了相互矛盾的信息，比如说药品说明书的旧版本和新版本中适应症、用药建议等存在显著不同，AI不能确定用哪一版生成回应。此时，它反而会将两者的信息结合起来，创造一个可能具有误导性的答案。
尽管AI大多数情况下能够提供高质量的信息，但仍然存在“犯错”的可能性。事实上，不仅因为网络中充斥着大量的无用冗余信息，给AI的结论得出造成一定困扰，同时从技术层面而言，给AI提供的话题越具体，它的输出中出现错误信息的概率就会越高。如果只是上述例子中的情景，也许大家会心一笑也就作罢，但如果涉及到利用AI进行文书处理、具体审查、用药说明的话，这样的错误无法接受的。更何况，AI的引入一定程度上是为了减少人力，但为了防止AI的“犯错”还需对其结论进行人工复核的话，其降低人力成本的目的也未达到。
（2）数据泄露、数据代表性不完全
AI的分析基于对大量数据的采集和分析，输入数据的质量决定了AI的产出质量，故确保所涉及数据的可靠性、完整性、相关性和代表性是充分利用AI的关键。
与此同时，AI是一把双刃剑，在带来重大革新和便利的同时，也带来巨大的数据安全隐忧。《监管清单》中的应用场景，涉及药品和医疗器械注册申报材料、上市许可持有人信用信息、工作方案等中的个人信息、涉密信息，对有关信息的保存和如何防止泄漏、攻击是需要谨慎考虑的。
就数据代表性不完全的风险而言，应在数据采集阶段采取有效措施，提高有关信息的上网率，最大程度确保数据获得的完整性，减少因数据缺失而导致分析结论不可靠的风险。就数据泄露的风险而言，可采用数据去标识及匿名化、数据加密、限制数据访问等措施进行防范。
（3）算法歧视
AI无论在半自主式学习还是自主式学习中，都需要或被动获得或自动抓取大量数据进行自我分析并为此建立相关模型。在其中的前置环节中，它所“得到”的数据的不精确就会造成结果的偏差，也就是“算法歧视”的产生。以AI辅助业务办理为例，目前不确定未来是否会出现如下的情况：在都满足前置条件的情况下，A先递交材料而B后递交材料，然而平台通过算法把通过名额优先锁定给后递交的B，因为平台经过计算发现B比A更有商业价值。如此情况如出现，必然有失市场公平，如何进行规避是需要通过技术等手段进行解决的。尤其当AI涉足监管领域后，是否秉持“算法中立”是极其重要的。
面对算法歧视所带来的负面影响，须从算法本身出发，对其技术和底层算法逻辑进行规制，引领算法的正向发展；此外，也要从外部入手，制定相关的法律法规以及操作指南等，明确对AI的具体监管要求，如认定算法歧视的具体标准、达到什么样的情形该AI模型须被禁止使用等。
五、结语
由于目前AI在医药行业监管的应用还处于探索阶段，《监管清单》也仅就AI可能的适应场景进行列举，并未涉及到后续具体的落地方案以及监管。目前，大陆在医药行业监管领域较为系统的AI应用纲领性文件仍有待形成。
总体而言，面对AI的飞速发展，大陆药监部门有必要尽快建立医药及有关行业监管中的AI应用规则，在合理运用AI技术促进效率的同时注意防范风险。我们也翘首期待AI在安全发展的同时，为医药行业发展带来更大的机遇。
特别声明：
大成律师事务所严格遵守对客户的信息保护义务，本篇所涉客户项目内容均取自公开信息或取得客户同意。全文内容、观点仅供参考，不代表大成律师事务所任何立场，亦不应当被视为出具任何形式的法律意见或建议。如需转载或引用该文章的任何内容，请私信沟通授权事宜，并于转载时在文章开头处注明来源。未经授权，不得转载或使用该等文章中的任何内容。
