听力康复训练

实验概述

      听力康复训练结合虚拟现实技术，让患儿通过视觉、触觉等多种感官刺激与声音产生关联，帮助患儿从声音的察知到语言语境的理解得到更有效更全面的康复训练。

      实验内容分为不同等级：察知、区分、识别和理解。每个等级根据训练的目的，构建简单到复杂的虚拟场景和对应不同的声音素材。患儿在训练中结合相关的生理设备来评估训练的效果。

实验实现技术原理

      实验基于Vizard5虚拟现实开发引擎实现，实验的关键技术点为：

1、复杂的实验流程；

2、声音刺激与视觉刺激的关联

      实验流程基于PsycWF心理学实验流程引擎快速搭建。

      Vizard提供多种声音信息的呈现方式，例如：全局声音和3D声音。本实验中根据内容等级使用不同的声音呈现方式，在察知阶段，只需要患儿可感知声音的存在，此时使用全局声音播放，不会存在明显的声音位置差异。在其他阶段，需要患儿感知声音的方位变化以及发声物体的辨认，这就需要使用3D声音。3D声音基于操作系统底层DirectSound实现，根据目标虚拟发声物体与患儿的位置关系来实时渲染声音，可感受到声音大小、位置的变化。

实验室要求及硬件设备

• 实验室空间：7m(长) x 7m(宽)，层高大于3m（可根据实际CAVE大小灵活调整）
• 虚拟现实设备：CornerCAVE系统（立体投影或LED屏），PPT-N高精度主动红外大空间定位系统
• 渲染机：高性能台式渲染主机
• 音响设备：高保真环绕立体声音响系统