多模态阿米：让医疗AI像医生一样“边问边看边判断”！

传统对话式医疗大模型大多局限纯文本交互，但真实临床问诊是多模态过程，除病史文本外，还需结合皮肤照片、心电图、检验报告等视觉材料综合判断。现有医疗对话AI缺少在问诊中动态请求、解析、融合多模态资料的能力，难以匹配远程线上问诊需求。本文提出多模态明晰医学智能探查系统（简称：多模态阿米），基于Gemini 2.0 Flash构建具备状态感知的对话推理框架，能在问诊完整流程中完成多模态信息采集、解读与综合诊断推理，模拟资深临床医师的结构化诊疗思维。

多模态阿米的核心创新是状态感知对话阶段转换框架，将完整问诊拆解为三个有序且可动态跳转的阶段：病史采集、诊断与处置、回答随访疑问。系统持续维护动态更新的患者档案，同步生成内部鉴别诊断列表，依据信息完备度与诊断不确定性，自动决定继续追问还是进入诊断输出。在病史采集阶段，模型依据患者主诉主动判断是否需要多模态证据，适时请求上传皮损照片、心电图、临床文档；收到资料后提取关键临床特征，并将视觉发现整合进对话上下文，而非孤立做图片识别。

研究搭建双重评估体系：一是仿真对话自动评测环境，可批量生成合成病例，由AI扮演患者与多模态阿米开展多模态问诊，再通过自动评分器计算指标，支持大量消融实验；二是真人参与的客观结构化临床考试模拟问诊试验，共105个多模态临床场景，覆盖皮肤病照片、心电图、临床检验文档三类远程问诊高频资料，由经过训练的患者模拟者分别和AI、全科医生开展同步文字问诊，再由18位不同专科医师盲评，从诊断准确性、多模态资料处理、病史采集、共情沟通等32个维度打分。

试验结果表明，多模态阿米在绝大多数指标上达到甚至优于全科医生水平，32个评估维度中29项占优，其中9项多模态推理相关指标表现突出。鉴别诊断topk准确率上，AI显著优于人类全科医师（P<0.001）。亚组分析显示，图像质量下降时，AI诊断性能衰减幅度明显小于医生；出现幻觉、误报影像特征时，对AI诊断的负面影响也低于医生。专家评分与患者模拟者主观体验评分均显示，多模态阿米在解读多模态资料、解释影像发现、共情沟通、病史采集、处置方案合理性方面评价更高。消融实验证实：状态感知推理框架是性能提升的关键，去掉该结构化逻辑直接使用基础大模型，鉴别诊断、信息采集、处置方案质量均明显下滑；只看图片不开展交互式问诊的模式，诊断准确率显著低于“图像+完整对话”的组合，证明交互式病史采集不可被单纯图像识别替代。同时在患者性格、人口学特征、症状表述合理变化时，系统指标保持稳定，具备一定鲁棒性。

该项工作代表医疗对话AI从纯文本问答走向完整多模态诊疗流程的重要进展。过往医疗基准多聚焦静态病例问答，而本研究关注动态对话过程：AI不只是接收全部现成资料再给出答案，而是模拟医师，一边对话一边判断“还需要什么信息、是否需要患者补充图像材料”。它证明推理时的结构化状态感知框架，可在不做大规模微调的前提下显著提升医疗对话质量。未来需开展真实临床随机试验，拓展放射、病理等更多模态，进一步验证真实医患场景下的安全性、公平性与工作流适配能力。医学新闻 新技术让医疗AI像医生一样“边问边看边判断” ai医疗 哈勃观察员