微软在 2016 年开始将立体摄像头集成至 VR 系统中以开发 AR 头显，允许用户能够通过摄像头的馈送看到现实世界。通过视频合成可以创建低成本的 AR 系统。

与光学 AR 相比，这种形式的 AR 存在几个优点：低成本的摄像头模块仅为 VR 头显增加了大约 40 美元的零件价格；视场宽，水平和垂直方向达到 100 多度；可在阳光下运行，提供真正不透明的合成影像。即便是在室内，设备都可以改善合成影像的色彩再现和对比度。

微软的第一个原型将现成的机器视觉摄像头集成至商用 VR 头显，显示分辨率约为单眼 100 万像素，频率为 60Hz 或 90Hz（见图 1 和图 2）。两条 USB 3.0 数据线将摄像头影像传输至主机 CPU。

微软编写了自己的实时图像信号处理流程，以便对 Bayer 图像进行去马赛克处理，校正透镜失真和修正颜色。光子到光子的延迟大约是 50ms。利用后期再投影单应性矩阵纠正这种延迟的效果出奇的优秀。

通过自定义同步电路板（图 3）令摄像头与显示器同步（由微软研究院实验室的硬件实验室设计和构建）。它由来自头显显示电路的垂直刷新信号触发。任何商用头显的外部不存在这种信号，因此微软打开了头显外壳，并在显示电路板上探测引脚，从而找到了具有正确显示更新频率的信号。

这些早期原型展现了巨大的潜力，并鼓励我们探索第二代头显，而微软是从 2017 年夏天开始相关的项目。第一代的最大缺点是大型机器视觉摄像头的体积和重量，以及显示器的低分辨率。两者都已经在第二代设备中得到解决。

新款头显采用了由微软研究院实验室的硬件实验室设计和制造的定制摄像头控制电路板，后者搭载了一个滚动快门图像传感器 Omni Vision OV4689，可以在手机形状参数中以 90Hz 的速度捕捉 400 万像素。摄像头与 VR 头显显示器的同步是通过利用来自显示控制器电路板的同步信号，但同步电路完全包含在摄像头控制器电路板中。

与当前同等分辨率和帧速率的最小机器视觉系统相比，新的摄像头模块更小，重量更轻（图 4 和图 5）。考虑到只有 2 micron-square 像素，图像质量也出乎意料地好。

利用 Cypress CX3 MIPI to USB 桥接芯片，传感器视频可以通过 USB 3.0 数据线传输到主机。芯片的带宽限制将 90Hz 的捕捉限制在 1920×1440，而不是传感器所能够达到的完整 2688×1520 分辨率。

微软的工程团队编写了自定义摄像头控制器固件，因此可以在主机 PC 上的软件中设置摄像头帧速率，曝光和其他传感器参数。他们同时编写了自定义 USB 驱动程序来处理通过 USB 3.0 数据线传输的高数据速率视频。光子到光子的延迟约为 50 毫秒，这时再次用后期的再投影单应性矩阵进行校正。

更高的分辨率显著提升了现实世界的视场，轻巧的摄像头模块使设备比第一代原型更舒适。另外，混合现实头显的内向外追踪也消除了之前原型的移动性限制。这个系统利用背包电脑，完全可移动。

微软生产了大约 40 台这样的头显，并由内部的各个事业群作为研究目的进行使用。据映维网了解，微软还正在积极开发未来的原型，并努力令延迟时间维持在 5-10 毫秒范围内。随着现成头显的分辨率增加，他们将制作更高分辨率的原型。