日前,虚拟动点·虚拟现实产业布局白皮书发布会在北京成功召开,受到业内广泛关注。虚拟动点作为AI时代虚拟现实产业领创者,目前已拥有光学定位捕捉、惯性定位捕捉、基于AI无标记点追踪等一系列基于空间计算的机器视觉定位捕捉技术。作为虚拟动点第一本产业布局白皮书,书中详细介绍了虚拟动点在空间计算方面的核心技术、解决方案以及应用案例。今天小编为大家简要介绍虚拟动点关于空间计算-光学定位捕捉的技术与应用情况。以下内容摘自《虚拟动点·虚拟现实产业布局白皮书》:
空间计算-光学定位捕捉技术
动作捕捉技术是感知交互以及新一代科幻影视及游戏制作的关键共性技术,其中光学定位捕捉技术是基于计算机视觉的动作捕捉技术中的一种。其工作原理是在一个物理空间内架设多个红外感应摄像机,在目标(如演员或者物体)上粘贴标记点,摄像机以每秒数帧的频率识别计算标记点的数据,多台摄像机间互相呈一定角度并互有叠加,每个标记点均可被至少两台摄像机识别,计算出 3D 坐标,最终被捕捉目标在这个物体空间内的动作将会被实时数字化记录下来。标记点被越多摄像机识别,系统计算出的位置就越精确。
标记点又分为被动式标记点及主动式标记点两种。被动式标记点可通过红外光学动作捕捉摄像机反射红外线,通过分析某个标记点相对于其他标记点的运动来获得被追踪标记点信息,从而识别到各个标记点。主动式标记点可实现自身发光并被摄像机识别,一些主动式标记点可通过脉冲方式闪烁,从而向摄像机发送ID 信息。
被动式标记点 vs 主动式标记点
二者各有利弊。主动式标记点可与自然光结合应用,更加可靠,可以支持超远距离追踪,但主动式标记点需要有电子器件和供电器件支撑,相比被动标记点显得笨重。而被动式标记点对光线较为敏感,不适合在自然光下进行捕捉,且与环境光对比度不足,无法进行超远距离追踪,因其设计多为粘贴式,使用方便。
空间计算赋能各领域应用
虚拟动点基于空间计算-光学定位捕捉技术已广泛服务于影视制作、虚拟现实、行业仿真、虚拟数字人、机器人训练等众多行业领域。
虚拟制作
通过数字技术突破时间空间限制,最大程度的解放导演创意与灵感,为电影制作带来新的革新。虚拟动点自研OptiTrack 是基于 LED 的虚拟制作流程的首选,搭配CinePuck 工具采用光惯融合技术,可放置到实景摄像机、虚拟摄像机、布景和表演者身上,无漂移、衰减性能、EMI(电磁干扰)环境等问题,保证数据的精准性和稳定传输。
虚拟动点动作捕捉系统配套设备终端OptiTrack的Cine Puck,主要用于摄像机追踪
案例示意
电影《曼达洛人》采用 LED 虚拟拍摄技术和系统,用LED 屏幕替代传统绿幕,借助 OptiTrack 动作捕捉系统为摄像机提供高精度、低延迟的数据追踪。
屏幕顶端架设Prime41红外摄像机
实体摄像机上的主动式模块
动作捕捉系统实时驱动Unreal Engine中的虚拟摄像机
运动科学
虚拟动点携手国内外伙伴在运动康复、神经生理学、虚拟手术等多个领域取得阶段性成果助力医疗发展,通过自研光学动捕系统针对主流数字测力台、EMG 和模拟设备即插即用,同时适配多种软件,其中STT InSight运动分析软件可实时科学分析临床三维人体运动数据并快速生成报告。
运动分析示意图
测力台示意图
STT Insight软件界面
案例示意
虚拟动点携手Holosurgical数字外科手术公司借助OptiTrack光学追踪系统完成全球首例增强现实技术手术,运用X光技术透过皮肉组织扫描病人内部骨骼,并将骨骼3D图像实时呈现在3D眼镜中,当医生佩戴好3D眼镜后,立体的骨骼在透明显示屏镜中处于与病人实际骨骼相同位置,做到虚拟图像在实际空间中与病人真实骨骼完全覆盖。
OptiTrack空间定位技术成功助力世界首个增强现实手术
虚拟现实
随着AI、大数据等前沿技术进步,新兴视觉主导的传播形式逐渐应用到文化建设当中。我们通过优化对虚拟现实跟踪最重要的性能指标,构建了世界上最准确且易于使用的 VR 跟踪设备。超低延迟体验使任何头戴式显示器 (HMD) 或自动沉浸式环境都可以做到平滑跟踪。
VR大空间多人交互效果图
案例示意
虚拟动点联合虚境科技为湖南省博物馆打造VR体验项目《国宝迷踪》,采用66台OptiTrack动捕摄像机,加入14组定制化文物道具,通过VR交互体验,打造现实版“博物馆奇妙夜”。
湖南省博物馆《国宝迷踪》VR多人游戏内画面图
机器人
OptiTrack 采用业界最先进的刚体解算器,可为多个目标的大范围区域内提供完美的6DoF(自由度)数据,是全球首选的机器人准确控制与精确定位的跟踪系统。
案例示意
虚拟动点携手Holosurgical数字外科手术公司借助OptiTrack光学追踪系统完成全球首例增强现实技术手术,运用X光技术透过皮肉组织扫描病人内部骨骼,并将骨骼3D图像实时呈现在3D眼镜中,当医生佩戴好3D眼镜后,立体的骨骼在透明显示屏镜中处于与病人实际骨骼相同位置,做到虚拟图像在实际空间中与病人真实骨骼完全覆盖。
多目标教学和研发平台展示
游戏动画
运用动作捕捉技术进行游戏制作相较于传统制作流程,可借助定位主体在三维空间中的空间坐标来追踪并记录其运动轨迹,OptiTrack 动作捕捉系统可帮助用户优化流程、快速实现影视制作、动画生产灯。
案例示意
在《使命召唤:现代战争》游戏制作过程中,我们通过OptiTrack光学动捕技术追踪身着动捕服的演员,借助Marker反射的红外光,对演员的动作进行捕捉并生成动作数据,同时记录演员说话时的肌肉动态和细微表情变化,实时驱动游戏中人物形象的运动,为演员拍摄和摄制组在艺术层面的尽情发挥提供更广阔的空间。
《使命召唤:现代战争》游戏制作
未来,虚拟动点将以空间计算为核心,吸引更多合作伙伴一起共建生态体系,用空间计算技术持续赋能千行百业!我们也将定期为大家分享白皮书内容,欢迎大家持续锁定虚拟动点公众号。
来源:虚拟动点