简短回答: 医疗数据上的AI是一个包含七个问题的流程,大多数失败都源于跳过其中一个问题。数据来自哪里(FHIR记录、文档、设备、患者自己的话)?模型如何访问它(一个组装相关信息的上下文API、一个模型上下文协议服务器、通过记录检索)?谁决定可以访问(患者的同意,按目的和时间范围限定,已记录)?什么保护其中的人们(离开护理范围的任何内容都进行去标识化,开发使用合成数据,研究使用假名化)?每个输出都可以追溯吗(输入和输出的来源)?我们如何知道它有效(根据临床真实情况评估,而不是凭感觉)?哪些规则适用(GDPR第9条和第22条,如果输出用于临床决策则适用MDR,欧盟AI法案,HIPAA)?此页面是地图;每个问题都有自己的页面。
流程
用于医疗数据的AI流程包含七个阶段,每个阶段都有一个问题:来源(数据来自哪里),访问(模型如何获取数据),控制(谁决定了可以访问),隐私(什么保护了其中的人们),可追溯性(输出是否可追溯),评估(如何衡量成功)以及规则(哪些法律适用)。
| 阶段 | 问题 | 好的表现 | 页面 |
|---|---|---|---|
| 来源 | 数据来自哪里? | 带有代码(LOINC、SNOMED CT、ATC)的FHIR记录,提取了结构的文档,带有来源信息的设备数据;不仅仅是截图和PDF。 | FHIR Observation, FHIR DiagnosticReport |
| 访问 | 模型如何访问它? | 返回记录中有限的、带有来源信息的切片的上下文API或MCP服务器;使用结构化过滤器进行检索,而不是一次性转储。 | RAG on medical records, Healthcare API for AI, MCP server |
| 控制 | 谁决定可以访问? | 患者按目的和持续时间同意;服务器端强制执行范围;患者可以查看的访问日志;有效的撤销。 | Patient consent platform, Who viewed my record? |
| 隐私 | 什么保护人们? | 身份信息数据保留在护理范围内;开发、分析和模型训练使用去标识化或合成数据;研究在许可下使用假名化数据。 | De-identification, Synthetic patient data |
| 可追溯性 | 输出可以追溯吗? | 每个输入的来源(谁记录的,何时,从哪里)以及每个AI输出的来源(模型,版本,使用的输入),与记录一起存储。 | Medical data provenance |
| 评估 | 我们如何知道它有效? | 带有临床真实情况的测试集,忠实于来源,按子组的错误分析,生产环境中的监控,人工审查路径。 | Evaluating clinical LLMs |
| 规则 | 哪些法律适用? | GDPR第9条和第22条,DPIA;如果输出用于诊断或治疗,则适用MDR;AI法案的高风险制度适用于设备和列出的用途;美国的HIPAA。 | The EU AI Act and health AI, SaMD classes, GDPR Article 9 |
三种AI,三种风险等级
医疗数据的AI有三种类型,三种风险等级:辅助和管理型AI,例如用通俗易懂的语言进行总结和起草笔记,其风险在于隐私和未被发现的错误;决策支持型AI,例如标记药物相互作用或进行分诊,其风险在于临床方面,并且需要遵守MDR;以及人群和研究型AI,其风险在于重新识别身份和偏见。
辅助和行政类: 以患者能理解的语言总结记录,根据转录草拟就诊记录供临床医生编辑,在获得同意的记录上回答“我上次的验血结果在哪里”。风险在于隐私和人类可能未发现的错误;只要不用于临床决策,MDR就不适用,但AI法案的透明度义务和GDPR仍然适用。
决策支持类: 标记交互,建议鉴别诊断,分诊。风险是临床性的;MDR适用(通常为IIa类或更高),AI法案的高风险制度紧随其后,并且需要IEC 62304和临床评估。请参阅CDS Hooks解释了解此类系统如何集成到EHR中。
人群和研究类: 查找跨多个记录的模式,药物警戒信号,队列发现。风险是重新识别和偏见;数据必须在许可下进行匿名化或假名化,按最小单元格大小聚合,并对方法进行混淆分析。请参阅健康数据二次使用。
失败模式
医疗数据AI常见的失败模式包括:将整个病历塞入提示词中,通过文档进行提示词注入,静默推断(将模型的猜测写入病历,就好像是临床医生所为),在没有法律依据的情况下使用已识别的数据进行训练,仅在供应商的演示集上进行评估,以及调试日志中充斥着患者数据。
- 上下文填充: 将整个记录粘贴到提示中。成本高昂,会泄露数据,并且模型会关注错误的部分。带有来源信息的、有界且排序的上下文效果更好且可审计。
- 通过文档进行提示注入: 一封扫描的信件说“忽略之前的指示”。将所有记录内容视为数据;切勿让其设定策略。请参阅RAG on medical records。
- 静默推断: 模型从行为中推断出诊断,并将其写入记录,就好像是临床医生所为一样。输出标记为AI生成,并带有来源信息,并且在未经人类确认的情况下绝不会成为Condition。请参阅FHIR Condition explained。
- 在未获得许可的情况下使用身份信息数据进行训练: 对患者记录进行微调需要超出“我们有数据”的法律依据;去标识化或合成数据通常可以满足需求。
- 在供应商的演示集上进行评估: 在您的人群、您的语言、您的文档类型上进行评估,并在部署后持续评估。
- 日志中充满PHI: 用于调试的提示和完成的日志成为第二个未受保护的记录。进行假名化或不要记录内容。
标准和构建块
医疗数据的AI标准和构建块包括:用于病历和结构化AI输出的FHIR,用于工具和数据受控访问的模型上下文协议(MCP),用于授权的SMART on FHIR,用于可追溯性的HL7的AI/ML数据生命周期工作,用于AI管理的ISO/IEC 42001,以及AI法案的统一标准。
FHIR用于记录和AI的结构化输出(带有derivedFrom的Observation,用于生成摘要的DocumentReference,以模型为代理的Provenance);模型上下文协议用于为助手提供对工具和数据的受管访问;SMART on FHIR用于授权;HL7 AI/ML数据生命周期和来源工作用于可追溯性;ISO/IEC 42001用于AI管理系统;AI法案的协调标准(一旦发布)。
在Anpheros
对于医疗数据的AI,Anpheros提供了带有代码和来源信息的FHIR R4病历,一个上下文API,该API在令牌预算内返回带有来源标签的病历切片,一个MCP服务器,通过该服务器,助手可以在征得本人同意的情况下读取个人的病历,以及由本人控制的同意和访问日志。Anpheros不运行诊断AI。
Anpheros提供记录(FHIR R4,已编码,带有来源信息),一个上下文API,该API在令牌预算内返回带有来源信息的切片,一个MCP服务器,使Claude等助手能够根据个人同意读取个人的记录,以及个人控制的同意和访问日志。它不运行诊断AI,也不将AI推断作为临床事实写入记录。开发者网站上有详细信息:healthcare API for AI, MCP server, LLMs on healthcare data。
相关页面
- RAG on medical records: how retrieval over a FHIR record works
- The EU AI Act and health AI
- Healthcare API for AI: provenance-labelled patient context
- De-identification of health data
- AI and your medical record (for patients)
- Secondary use of health data
- Anpheros MCP server (developer site)
- LLMs on healthcare data (developer site)
来源
- Model Context Protocol specification
- HL7 FHIR R4: Provenance
- Regulation (EU) 2024/1689 (AI Act), EUR-Lex
- ISO/IEC 42001:2023, AI management system
- WHO: Ethics and governance of artificial intelligence for health, guidance on large multi-modal models (2024)
- HL7 SMART App Launch
常见问题
我可以对患者记录进行模型微调吗?
只有在有法律依据的情况下(同意,或根据第9条第2款(j)项的研究依据并有保障措施),进行DPIA,并且通常需要去标识化;身份信息记录不能用于训练,因为碰巧可用。合成数据和去标识化数据可以满足大多数开发需求。
记录的AI摘要是医疗设备吗?
如果它只是重述记录中包含的内容,供患者或临床医生阅读,而没有对其进行诊断或治疗方面的解释,那么它就不是。一旦它在临床上提示了检查结果的含义,它就属于MDR下的决策支持。
什么是MCP,为什么它在这里很重要?
模型上下文协议是一个开放标准,用于通过具有定义功能的服务器将AI助手连接到工具和数据源。对于健康数据,它允许助手通过受管服务器,在获得个人同意和记录的情况下读取个人的记录,而不是将数据粘贴到聊天中。
如何评估临床LLM功能?
使用来自您人群的、由临床医生标记的、预留的真实案例集,评估正确性和对来源的忠实度,按子组和语言进行分析,审查失败案例,并在发布后进行监控。供应商的基准测试只是一个起点,而不是证据。
在沙盒中免费试用
5 分钟完成第一次 FHIR 调用. 一个内置患者授权的 HL7 FHIR R4 API:先在沙盒中试用,然后连接您自己的应用或诊所系统。
免费 · 30 位合成患者 · 无需信用卡

