想象一下，你用手机摄制一张照片，然后你不仅可以获得你摄制时的一个角度，你还可以拖照片来看见有所不同角度的视野变化。这听得一起是在叙述矮小上的光场视频，而不是一般来说的2D照片技术，是吧？今年5月，Facebook讲解了3D照片技术，今天Facebook月将其3D照片功能带回了iPhone手机上。当你用iPhone摄制一张照片时，页面状态改版编辑器中的新3D照片选项，自由选择肖像模式照片，然后Facebook会用AI计算出来出有场景深度，使得2D照片也可以动起来，呈现多个角度的景象。这些3D照片可以在在桌面或者手机App中的Facebook动态信息流中体验到。

当你滑动信息流时，这些照片和普通照片看上去没区别，而当你页面转入照片时，他们马上突破平面2D的束缚，就像一个小窗口一样，一下子把你纳入3D照片的世界。就像右图gif一样，拖照片你可以你看见狗的侧面和背后的岩石。了解到，这个以AI建构出有深度图像的技术来自于Facebook计算出来摄影部门，描写这项技术的论文由伦敦大学学院的Peter Hedman和Facebook西雅图办公室的研究科学家Johannes Kopf年出版已完成，论文曾在今年8月于温哥华举行的Siggraph上展览。只不过，不少巨头都在研发计算出来图像深度的技术，不过目前他们都只是应用于在人像模式中，借以破面背景。

然而，Facebook的技术路径毕竟从VR开始的。Facebook以30亿美元并购Oculus后就大力寄托VR，致力于建构一个相连虚拟世界与现实的全新社交帝国，把现实世界放入VR是一项关键任务，此前的构建方式主要是360度全景视频或者是再加3D效果的360度全景视频，然而，这些全景图片拼凑出的内容只是2D图片的大型化，并不具备现实世界的深度感和真实感。6Dof视频以及更加完备的光场视频是大家希望的解决方案，Facebook也仍然在这些领域探寻。

在2017年5月的F8大会上，Facebook公布了两款能记录深度信息的 3D VR全景照相机，Facebook 360 Surround x24和x6。今年9月，Facebook公布专业级全景照相机 Manifold。

然而，6Dof视频和光场视频的制作成本极高，目前VR的发展也无法更有大量的内容制作者，Facebook自由选择了更加便利更加民主化的路线——3D照片。虽然Facebook发售的这项深度图像技术被称作3D视频，但是却和大家熟知的3D电影的3D效果不是一码事。

普通的3D只是通过双目时差构建的伪3D效果，在电影院里，不管你怎么转身，你看见的立体影像都只有一个角度，而Facebook的3D照片的特点是可以拖查阅有所不同的角度信息。说道了这么多，返回重点，Facebook是如何构建这项技术的呢？据(公众号：)理解，一开始，Facebook使用的方式是让用户以单摄像头的照相机摄制，通过移动来捕猎整个场景，然后通过分析视差和手机运动，即有所不同距离的物体在照相机移动时移动的数据，可以准确地在修复出有3D场景。

但是，从单个摄像机的较慢图像中推断出深度数据是对CPU的计算出来拒绝很高，这种方法在大多数手机都有双摄像头时变得有些过时。通过同时用于两个照相机捕捉图像，即使对于运动中的物体也可以仔细观察到视差差异。并且因为两个镜头的设备正处于完全相同的方位，所以深度数据的噪音要大得多，对运算的拒绝也较低很多。

Facebook目前就是使用iPhone的双摄像头，手机的两个摄像头摄制了一对图像，设备立刻自行已完成计算出来“深度图”，图像编码帧中所有内容的计算出来距离。结果看上去像这样：苹果、三星、华为、谷歌都在研究深度图像技术，但是目前主要用在照片的背景模糊不清上面。

深度图的技术难题在于，创立的深度图没某种意味著比例。例如，当深红色意味著100英尺时，浅黄色并不意味著10英尺。每张照片的比例都不完全相同，这意味著你必须摄制多张照片来取得物体实际距离，但是要将这些照片拼凑在一起是一种伤痛。

这就是Kopf和Hedman及其同事所面对的问题。在他们的系统中，用户通过移动他们的手机摄制他们周围环境的多个图像;它每秒捕捉一个图像（技术上是两个图像和一个结果深度图）并开始将其加到到其子集中。在后台，算法不会查阅手机运动检测系统捕捉的照相机的深度图和微小运动。

然后，深度图基本上被美容成准确的形状以与其他照片偏移。创立出有深度图之后，深度图不会被切换为3D网格（这个较为抽象化，可以将其想象为一个纸质版本的景观图）。然后，检查网格的显著边缘，将这些边缘断裂进，例如前景中栏杆遮盖背景中的景观，就将两者分离开了。

这不会将各种物体分隔，使它们看上去正处于有所不同的深度，并随着投影的变化移动。虽然这些方法建构了3D效果，但是你有可能早已猜中到前景看上去只不过是一个纸质镂空，因为，如果是必要摄制的人脸，就没关于他们的头部或背部。那么，最后一步就很最重要。通过卷积神经网络去猜测和填满图像的其余部分。

例如，如果图像区域有头发，那么头发可能会之后不存在。因此，它可以令人信服地新的建构这些纹理，并估算对象的形状，增大间隙。

这样当你略为转变视角时，你或许知道“环绕”对象看了一圈。Facebook目前能在一秒钟的时间内已完成深度图的创立，因此他们将此称作“即时3D摄影”。当然，3D照片功能目前不能在有两个摄像机上用于，亮相这项功能的是iPhone 7+, 8+, X or XS，此后不会有更加多手机重新加入。

在论文中，Facebook也辩论了如何用通过另一个卷积神经网络来使得单摄像头的照相机也享有某种程度功能。但是，单摄像头不如双摄像头系统好。

这还必须算法和软件公司的之后希望，正如前些天，曾报导，Google就用单摄像头构建了打破苹果双摄像头的多项计算出来摄影效果。涉及文章：编撰谷歌近期光场视频，体验VR头显里的光场世界原创文章，予以许可禁令刊登。下文闻刊登须知。

本文来源：乐虎·lehu-www.aieuu.com