本研究提出了一种基于MR头盔和大语言模型的远程协同装配维修引导方法。随着现代生产设备日益复杂,传统的人工维修方式面临成本高、效率低等问题。针对这一挑战,研究通过结合增强现实技术和人工智能语言模型,旨在提高维修工作的效率和准确性。
研究的核心内容包括:
关键零件检测与位姿匹配: 利用YOLOv5网络进行目标零件的实时检测,并结合特征点匹配算法实现零件位姿的精确匹配。
远程协同装配维修引导方法设计: 开发了一套系统,通过AR头盔展示维修操作的动态指引,同时接入大语言模型构建的维修知识库,提供语音交互查询,以及通过WebRTC技术实现与远程专家的视频通信连接。
实验验证: 通过一系列实验,验证了所提方法在提高维修操作手册查询效率和知识库查询效率方面的有效性。
10月30日
2024
10月31日
2024
初稿截稿日期
2025年08月21日 哥伦比亚 波哥大
“智链中哥·数创未来”——中国虚拟现实大赛八周年国际展暨中哥建交45周年数字文明对话2023年11月17日 中国 Suzhou
2023年第六届中国虚拟现实大赛2022年11月18日 中国 昆明市
2022年第五届中国虚拟现实大赛2021年10月17日 中国 南昌市
中国虚拟现实大赛