还记得《哈利·波特》里《预言家日报》上会动的照片吗,还有在它最后一部《死亡圣器》中阿利安娜走进画像深处为哈利和小伙伴打开秘密入口的场景吗?
近期,一组来自美国华盛顿大学和Facebook的科研团队研发了相似的技术,被他们称为“相片唤醒”。据悉,与《哈利·波特》中的动态照片不同,该技术可让人物从照片中跳出来,其活动范围不仅限于不再局限于此前的2D平面视频。
“相片唤醒”技术与ARCore和ARKit相比,可应用的图像类型更多,使用场景更灵活。另外,从背景走出来的小人并不是纸片人,而是立体的形象,也就是说使用AR设备,你可以从360°查看它。从上方视频可以看到,体验者佩戴HoloLens头显,利用手势就可以轻松召唤毕加索抽象画中的小人走进现实。
科研人员在论文中称,其技术与动态静图和GIF图概念相似,通过移动图像中的部分物体来创造整体动态感,只不过从平面变成了三维立体图。
“相片唤醒”原理图
该技术的原理并不复杂,在需要唤醒的人物身上叠加一个可变形的人体模型,然后估计该人物身体各部位的深度,创建网格模型,接着通过预测皮肤权重,重塑人物纹理,最后再放置回去掉人物的背景上,就可以操纵它的活动了。
论文中还称,用户可以通过UI修改人物的动作、修改人物背面(可选择复制正面)、优化自动识别骨骼、身体分支、深度图等。据悉,该技术除了AR还可应用在VR中。
该组科研人员将他们的方法与Bogo et al. 2016、Alldieck et al. 2018和hornung et al. 2017三种方法进行对比,发现“相片唤醒”模拟的人形从360°查看都更为精确。
留言与评论(共有 0 条评论) |