科技公园复旦大学 张立华教授
文/胡月
“元宇宙”一词最早是在1992年的科幻小说《雪崩》中提到的,小说描绘了一个庞大的虚拟现实世界,在这里,人们用数字化身来控制,并相互竞争以提高自己的地位。
元宇宙基于扩展现实技术提供沉浸式体验,以及数字孪生技术生成现实世界的镜像,通过区块链技术搭建经济体系,将虚拟世界与现实世界在经济系统、社交系统、身份系统上密切融合,允许每个用户进行内容生产和世界编辑,因此它能够与现实中很多领域相结合,发挥出巨大的社会价值。
目前,国内医疗资源分布不均,顶尖三甲医院的医疗资源难以向中小城镇覆盖。智慧医疗概念的提出为解决这一问题提供了切入点。但是,现阶段智慧医院主要围绕医疗系统的信息化建设,智能化程度偏低,并且难以将顶尖医院的医疗服务推广至医疗资源有限的地区,限制了智慧医院的发展和应用,而智慧医疗作为元宇宙的一个落地应用场景,能够较好地解决上述问题。
事实上,基于实体模型的模拟诊疗技术被广泛应用于包括儿科医生在内的临床技能的规范化培训与考核。其一般流程是,在事先确定的诊疗流程下,医生根据患儿模型的症状进行诊断与治疗,最终由儿科专家进行医疗能力的主观评估。
然而,传统培训方法存在着诸多问题,首先是病种覆盖少,现有模拟诊疗系统所能覆盖的病种数量与儿科知识面有限,并且模拟诊疗流程固定,缺乏丰富的病例数据;其次是仿真模拟难,现有系统特别是实体模型技术难以高保真地模拟多种不同复杂程度的病情,并且自动化、智能化水平低,导致使用体验和培训效果较差;此外,基层医疗机构医疗服务能力的评估体系不够完善,现有的评估方法基本采用专家打分模式,受主观因素影响大,缺乏客观的、有效的和细致的评估体系。
在上述背景下,由“科技创新2030-新一代人工智能重大项目”支持的“标准化儿童患者模型关键技术与应用”项目提出了要研发和验证基于智能终端的虚拟标准化儿童患者模型,作为基层医疗机构诊疗能力快速评估和改善的工具。我们的科研团队根据指南要求,确立了基于标准化儿童患者模型搭建“高保真元模拟诊疗系统”,实现基层儿科医生的规范化、规模化培训,以及基层机构诊疗能力的客观评估的总体目标。
首先,我们构建了儿科疾病大数据库,儿科临床循证指南库、儿科疾病知识图谱,为整个项目提供了数据支撑。其次,融合语音交互、计算机视觉、虚拟现实和物理仿真等技术,设计了医生和虚拟患者高保真和交互式元模拟诊疗平台,实现对诊疗全过程患者病情演变的高度还原。接着,通过分析医生与虚拟标准化儿童患者的交互行为,并根据循证医学证据建立质量考核标准,构建了客观、有效的医疗能力评估体系。最后,面向基层医生儿科方面诊疗水平不足的问题,我们将在基层医生的规范化培训、临床能力考察和提升等方面开展高效、大规模和低成本应用。
科研领军人——张立华
张立华教授是国家重大人才工程入选者,中国人工智能学会(CAAI)会士,现任复旦大学特聘教授、博导、智能机器人研究院副院长、智能机器人教育部工程研究中心副主任、中国人工智能学会人机融合智能专委会主任,由张立华教授牵头的复旦大学智能感知与无人系统实验室团队长期致力于在新一代人工智能基础理论与算法、智能感知与认知决策、智能计算与智能芯片、新型脑机交互以及智能机器人等领域开展创新研究,承担科技创新2030-“新一代人工智能“重大项目“标准化儿童患者模型关键技术与应用”、国家自然科学基金重大项目-“肝癌智能化精准外科的共性关键技术体系的建立”、上海市人工智能重大科技专项等多项国家、省部级科研项目,授权发明专利20余项,发表包括Nature以及国内外顶级会议期刊在内的论文共60多篇。
同时,张立华带领的科研团队在物理引擎、智慧医疗及VR领域有着丰富的研究成果和实践经验。首先,物理仿真是元宇宙中最关键的支撑技术之一,张立华教授是世界三大商用物理引擎——PhysX的奠基人之一,该引擎被Unreal Engine,Unity3D等顶尖游戏开发引擎和元宇宙平台Metaverse所采用。
第二,为了解决胸腔穿刺手术优质医生短缺以及培训困难的问题的问题,张立华教授曾带领团队研制“智能VR手术教学系统”,能实现在逼真的虚拟VR场景中高仿真模拟胸腔穿刺操作,此系统为医生提供一个虚拟的3D环境以及可交互操作平台,逼真的模拟临床手术的全过程。在手术教学和仿真训练等方面,此系统能够使得手术培训的时间大为缩短,同时减少了对昂贵的实验对象的需求,有着非常重要的社会价值和令人鼓舞的应用前景。
第三,肝癌是我国最常见的、对人类健康具有极大危害的恶性肿瘤之一,因为肝癌早期没有明显的症状,因此早期检查中的影像学检查十分重要,也是早期诊断的重要依据。CT具有较高的分辨率,对肝癌的诊断符合率可达90%以上,可清楚显示肝癌发生病变的位置、形态、扩散范围以及血流动力学变化,在原发性肝癌临床治疗方案的制定以及预后判断中表现出了重要的价值,然而,通过CT影响判断病灶位置等信息很大程度取决于影像科医生的经验,并且高强度的工作产生的疲劳加剧了漏诊的情况。因此,张立华教授带领团队构建了肝癌智能化精准外科的共性关键技术体系,针对肝癌的精准分期、智能分类、立体分布与侵袭前沿可视化方法以及残肝功能和再生潜能的定量方法四个问题进行研究,实现了肝癌的智能化精准病理分期、肝癌肿瘤的立体分布与肿瘤的侵袭边界重建、辅助医生在计算机上模拟规划制订合理准确的肝切除手术方案以指导精准肝切除术的施行、肝切除术前肿瘤切除方法与风险的可量化和可控化分析。
