还记得《哈利·波特》里《预言家日报》上会动的照片吗，还有在它最后一部《死亡圣器》中阿利安娜走进画像深处为哈利和小伙伴打开秘密入口的场景吗？
近期，一组来自美国华盛顿大学和Facebook的科研团队研发了相似的技术，被他们称为“相片唤醒”。据悉，与《哈利·波特》中的动态照片不同，该技术可让人物从照片中跳出来，其活动范围不仅限于不再局限于此前的2D平面视频。
“相片唤醒”技术与ARCore和ARKit相比，可应用的图像类型更多，使用场景更灵活。另外，从背景走出来的小人并不是纸片人，而是立体的形象，也就是说使用AR设备，你可以从360°查看它。从上方视频可以看到，体验者佩戴HoloLens头显，利用手势就可以轻松召唤毕加索抽象画中的小人走进现实。
科研人员在论文中称，其技术与动态静图和GIF图概念相似，通过移动图像中的部分物体来创造整体动态感，只不过从平面变成了三维立体图。
“相片唤醒”原理图
该技术的原理并不复杂，在需要唤醒的人物身上叠加一个可变形的人体模型，然后估计该人物身体各部位的深度，创建网格模型，接着通过预测皮肤权重，重塑人物纹理，最后再放置回去掉人物的背景上，就可以操纵它的活动了。
论文中还称，用户可以通过UI修改人物的动作、修改人物背面（可选择复制正面）、优化自动识别骨骼、身体分支、深度图等。据悉，该技术除了AR还可应用在VR中。
该组科研人员将他们的方法与Bogo et al. 2016、Alldieck et al. 2018和hornung et al. 2017三种方法进行对比，发现“相片唤醒”模拟的人形从360°查看都更为精确。
| 留言与评论（共有 0 条评论） |
