发布时间：2024-11-22 11:11:49 来源: sp20241122
中新网 上海7月22日电 (陈静 顾卓敏)记者22日获悉，中国与新加坡的专家团队携手，通过医工交叉合作研究，构建了多模态集成智能系统DeepDR-LLM，这是全球面向糖尿病诊疗的视觉——大语言模型，可有效提升DR(糖尿病视网膜病变)筛查和基层糖尿病管理水平，为未来全球糖尿病管理提供了数字解决方案。
DeepDR-LLM系统融合了大语言模型和深度学习技术优势，实现了医学影像诊断与诊疗意见的多模态生成功能，能提供糖尿病视网膜病变辅助诊断结果及个性化的糖尿病综合管理意见。该系统在覆盖亚非欧区域七个国家(地区)的多中心队列中进行了回顾性验证，针对中国基层医疗实际开展了前瞻性真实世界验证，进而向全球提供了面向糖尿病医疗垂直领域的多模态大模型应用成效的高质量循证证据。
据介绍，上海交通大学医学院附属第六人民医院贾伟平教授、李华婷教授团队与上海交通大学电院计算机系/教育部人工智能重点实验室盛斌教授团队，携手清华大学黄天荫教授团队与新加坡国立大学覃宇宗教授团队共同获得的研究成果在最新一期知名学术期刊Nature Medicine上发表。
近年来，人工智能，特别是深度学习在糖尿病及并发症管理中发挥着越来越重要的作用。既往的人工智能系统研发主要集中在糖尿病的并发症筛查或辅助管理的单一领域。随着全球范围内生成式人工智能技术的迅猛发展，多模态大模型正不断推动医疗领域的新应用场景和模式的涌现，但这些模型尚不能提供准确且安全的糖尿病综合诊疗建议。
据悉，针对当前的技术空白和临床的实际需求，DeepDR-LLM系统由LLM模块和DeepDR-Transformer模块组成。LLM模块突破低算力资源约束下的多模态大模型优化的“瓶颈”；同时，基于37.2万条基层慢病诊疗和慢病管理数据和知识实现了高效优化训练，使DeepDR-LLM系统可基于患者个体的临床信息生成精准糖尿病管理意见。DeepDR-Transformer模块通过针对超50万张眼底图像进行训练，可精准实现眼底影像的质量检测、病变分割和DR分级诊断 ，实现DeepDR-LLM系统的一站式多模态诊疗意见集成。
经过国际多学科专家委员会的多维度评估，DeepDR-LLM系统产出诊疗意见的质量达到或优于基层医生的水平；通过来自多个中国城市和新加坡、印度、泰国、英国、阿尔及利亚、乌兹别克斯坦6个国家的超50万张眼底图像对DeepDR-LLM系统进行外部测试，科研人员发现，DeepDR-LLM系统的DR诊断能力达到专业眼科医生水平。研究团队同时证明：基层医生在DeepDR-LLM系统的辅助下能够更准确地判读DR 。
研究团队将集成的DeepDR-LLM系统应用于真实世界临床流程，开展了随访769名中国基层糖尿病患者的前瞻性研究。结果表明， DeepDR-LLM系统被纳入糖尿病诊疗流程后，可显著改善新发糖尿病患者的自我管理行为，并提高DR患者的转诊依从性。
贾伟平教授22日告诉记者，目前全球基层糖尿病管理水平参差不齐，中低收入国家面临医疗资源不足、缺乏训练有素的基层医生等挑战。将DeepDR-LLM系统纳入基层糖尿病管理诊疗流程有望提高基层DR筛查能力和糖尿病管理意见推荐能力，进而改善糖尿病患者预后。(完) 【编辑:邵婉云】