映维网，国际权威虚拟现实（VR）信息平台，提供最快、最全、最有价值 VR 信息资讯！

文章相关引用及参考：reality.news

通过计算机视觉和深度学习来追踪整只手的骨骼动态

（映维网 2018 年 06 月 01 日）去年这个时候，计算机视觉公司 uSens 推出了一款支持手部追踪的立体摄像头模型。现在，uSens 只需通过智能手机摄像头即可实现相同的功能。

在日前举行的世界增强现实大会（AWE）中，uSens 推出了 uSensAR Hand Tracking SDK 的 beta 版本。这一工具可以帮助开发者在 iOS 和安卓设备上为 VR 和 AR 移动应用整合手部追踪和 3D 动作识别。借助智能手机的 RGB 摄像头，uSensAR Hand Tracking 可以通过计算机视觉和深度学习来追踪整只手的骨骼动态，不仅仅只是一只手的指尖。

到目前为止，增强现实的主流普及主要集中在智能手机方面。因此，智能手机 AR 的任何主要界面创新都是一个重大发展。尽管苹果和谷歌已经通过 ARKit 和 ARCore 为移动设备带来了水平表面和垂直表面的无标识追踪，图像识别，甚至是多用户体验，但用户与增强现实内容的交互仅限于触摸屏界面，不同于HoloLens和 Meta 2。

uSens 联合创始人兼首席执行官何安莉表示："uSens 很自豪能够将 AR 推向下一个前沿，帮助开发者为智能手机用户创建更加人入胜和娱乐性更强的增强现实体验，为他们带来更加直观的操作：只需用双手和手指在空中滑动即可。"

何安莉还说道：" 这为开发者带来了全新的可能性，使得他们能够为主流受众创建真正独一无二的体验。就像是触摸屏帮助市场拥抱了智能手机，为用户提供一种简单自然的方式来与 AR/VR 对象和环境进行交互，这将在促进消费者普及方面发挥重要作用。"

在短短一年时间里，uSens 为什么可以在没有外部硬件的情况下实现同样的追踪水平呢？关键是机器学习。

uSens 产品与运营副总裁王亚明表示：" 自从我们在去年年中开始直接面向手机市场以来，我们便一直致力于研发基于智能手机 RGB 摄像头的手部追踪。它与我们为基于深度学习的技术所研发的算法类似。现在不同的是，我们训练算法来学习单个摄像头输入。"

" 它可以根据我们的算法提供骨骼信息和关节信息，不过它的性能不如立体摄像头或深度摄像头，因为它的视场更小。但是，我们相信它为一系列的用例提供了足够好的性能。"

王亚明表示，uSens 已经在与美图进行合作，将这项技术集成至他们的 AR 摄像头效果。另外，uSens 同时在与一家未透露名字的游戏开发商合作，而王亚明暗示这家公司已经在美国纳斯达克上市，并且 " 在社交设定中发行了一款网络游戏 "。

尽管如此，虽然移动 AR 已经加速了消费者对 AR 的采用，但触摸屏仍然是用户和内容之间的障碍。在回顾当前市场上最佳的移动 AR 应用程序时，我们可以马上想象手部追踪将能如何改善已有的优秀体验。

当然对于智能手机用力而言，用户的一只手已经要用来握持设备。不过，uSens 技术同样可以促进智能眼镜的更快速创新，特别是基于安卓的可穿戴设备。随着精度和覆盖范围的提升，基于摄像头的追踪解决方案可以支持硬件厂商减掉专用深度传感器的需要。

希望 AR 硬件行业能够按照相关的思路进行摸索，而这可能意味着厂商将能比想象中更快地为我们带来优秀的 AR 体验。

文章《uSens 推出手部骨骼追踪 AR SDK，基于计算机视觉和深度学习》首发于 映维网。