156 / 2024-08-31 18:40:20
基于AR头盔结合大语言模型的远程协同装配维修引导系统
全文待审
马智威 / 长安大学
刘昊源 / 长安大学

本研究提出了一种基于MR头盔和大语言模型的远程协同装配维修引导方法。随着现代生产设备日益复杂,传统的人工维修方式面临成本高、效率低等问题。针对这一挑战,研究通过结合增强现实技术和人工智能语言模型,旨在提高维修工作的效率和准确性。

研究的核心内容包括:

关键零件检测与位姿匹配: 利用YOLOv5网络进行目标零件的实时检测,并结合特征点匹配算法实现零件位姿的精确匹配。

远程协同装配维修引导方法设计: 开发了一套系统,通过AR头盔展示维修操作的动态指引,同时接入大语言模型构建的维修知识库,提供语音交互查询,以及通过WebRTC技术实现与远程专家的视频通信连接。

实验验证: 通过一系列实验,验证了所提方法在提高维修操作手册查询效率和知识库查询效率方面的有效性。

 

重要日期
  • 会议日期

    10月30日

    2024

    10月31日

    2024

  • 11月30日 2024

    初稿截稿日期

主办单位
中国虚拟现实大赛组委会
中国虚拟现实大赛指导委员会
承办单位
长春大学
VR中国
联系方式
历届会议
移动端
在手机上打开
小程序
打开微信小程序
客服
扫码或点此咨询