193 / 2024-09-03 15:54:52

手语虚拟仿真教学辅助系统

据统计，我国聋哑人约有2780万人，占中国人口总数的1.67%，手语是大多数聋哑人与健听人交流的主要渠道，因此多数聋哑人只能与家人或同群体互动交流，与其他人群体往来甚少。而且即使正常人掌握了文法手语，与聋哑人的交流还是存在障碍，在日常生活中聋哑人常使用的是自然手语，一个动作会因为上下文的差异和脸部表情不同从而体现出不同的含义，而文法手语则依赖于手势传达。而带脸部表情的手语则可以通过脸部表情来增强手语的表达力，使得交流更加准确、自然。 本项目的开发包括两部分：手语动作和脸部表情的采集、系统开发。第一部分数据采集：使用动捕设备收集手语动作和脸部表情数据，并利用工具对采集到的数据进行修改处理，使手语动作更加精确。第二部分是基于Unity平台和PICO头戴式VR显示器进行系统开发：包括手语的单词学习，单词练习还有手语句子的练习和真实场景仿真。 本项目将应用于手语教学与测试，将真人手语转化为便于教学和学习的虚拟现实手语，实现手语教学的数字化，该项目的意义在于为想要学习手语的健听人提供一个学习和游戏的平台，帮助健听人与聋哑人的交流沟通能力，帮助他们更好地学习和掌握手语理解。