东京工业大学(Tokyo Tech)的研究人员与卡内基梅隆大学,圣安德鲁斯大学和新南威尔士大学的同事合作,开发了一种腕戴式3D姿势估计装置。该系统由一个摄像头组成,该摄像头捕获手背的图像,并由称为DorsalNet的神经网络支持,该AI神经网络可以准确识别动态手势。
能够跟踪手势对于推进增强现实(AR)和虚拟现实(VR)设备至关重要,而增强现实和虚拟现实设备已经在医疗,体育和娱乐领域开始大量需求。迄今为止,这些设备都涉及使用笨重的数据手套,该手套往往会阻碍自然运动,或者使用的传感器范围有限。
现在,由东京工业大学的小池秀树(Hideki Koike)领导的研究小组设计了一种基于相机的腕戴式3D手势识别系统,该系统将来可能与智能手表相提并论。他们的系统可以重要地允许在移动设置中捕获手部动作。
研究人员说:“这项工作是第一个使用来自手背区域视觉特征的基于视觉的实时3D手势估计器。”该系统由一个名为DorsalNet的神经网络支持的摄像机组成,该神经网络可以通过检测手背的变化来准确估算3D手的姿势。
研究人员证实,他们的系统在识别动态手势方面比以前的工作平均精度高出20%,并且在检测11种不同的抓握类型方面达到了75%的精度。
这项工作可以促进支持裸手交互的控制器的开发。在初步测试中,研究人员证明可以将其系统用于智能设备控制,例如,只需更改手指角度即可更改智能手表上的时间。他们还表明可以将该系统用作虚拟鼠标或键盘,例如通过旋转手腕来控制指针的位置并使用简单的8键键盘输入输入。
他们指出,对于现实世界的使用,将需要对该系统进行进一步的改进,例如使用具有更高帧频的相机来捕捉快速的手腕运动,并能够应对更多不同的光照条件。