155 / 2024-08-31 18:59:08

虚境正脊-虚拟现实驱动的侧弯矫正术前规划及力触仿真平台

项目起源

项目起源于河南省人民医院的四位骨科主刀医生向团队指导老师提出需求，想要做一款用于骨科手术模拟的产品，基于此团队进行大量调研，包括目前市场现状、行业和市场痛点，以及相关政策，发现无论是政策支持还是市场需求都十分大，因此经过团队实地调研和分析，成立团队去完成本项目，研发过程中也在不断探索，并与指导医师寻求相关医学知识，确保项目发展符合需求，以下是项目具体调研简要说明。

脊柱侧弯是一种脊柱的异常生长状态，轻则会导致患者背部不平、双肩不等高，严重时甚至会限制胸廓发育，对心肺功能造成严重影响。据中华预防医学会数据揭示，我国有超过500万的青少年患者深受其扰，每年至少进行150万台脊柱侧弯手术，然而专业医生数量却不足两万。这一现状源于被誉为皇冠手术的脊柱侧弯矫正术，存在着成本高昂、风险大、方案制定复杂等诸多痛点，临床实践也存在受限于医生手术经验、术中操作不当并发症高、C形臂透视验证方辐射伤害大等难题，都亟待解决。

经过深入分析，我们发现将虚拟现实技术融入术前模拟系统，有望有效破解这些难题。当前，众多政策也在强调虚拟现实与医疗行业的深度融合，工业和信息化部更是明确提出，要加快虚拟现实在医疗教学训练与模拟演练环节的应用步伐。

在此背景下，我们团队致力于打造一款低成本且高效的手术辅助平台，希望通过这一平台，降低医学培训的门槛，辅助医生更精准地规划手术方案，从而有效减少手术风险，为患者带来更安全、更有效的治疗体验。

作品介绍：

本产品采用Unity引擎，结合Open XR和Blender进行建模和动画制作，实现手术模拟系统，通过AgentBuilder形成的智能答题系统，和曦灵大模型形成的手术流程引导数字人，增强术前模拟系统的专业性；通过Esp32、电位器、舵机和MPU6050技术制作的力反馈手套增强了模拟的真实性，带来真实且准确的锥体打孔及置钉效果；利用PaddlePaddle的Unet影像分割和VTK算法构建高精度患者脊柱模型，并实现包含三维+切片的影像分析查看器，并使用LSTM网络模型实现抖动监测算法监测手术操作；同时提供多客户端给用户进行可视化操作，集成通过ModelBuilder工具使用RAG知识库、Prompt工程、以及SFT、RLHF等技术进行LoRA微调出基于ERNIE Bot Speed的智能术前规划助手，辅助医生进行术前规划；项目算法和手术模拟系统均部署在百度云服务器中，以Gaia DB作为数据库，使用BOS对象存储服务进行数据的存储，构建安全稳定的云上系统，为用户提供优质服务。