星期五 , 11月 15 2024
首页 / 人工智能 / VR / 西顾视频:拍 VR 视频,终于可以和摄像头亲密接触了

西顾视频:拍 VR 视频,终于可以和摄像头亲密接触了

VR 相机为何有安全距离?这样的难题如何解决?

相信了解 VR 相机的同学都知道,在进行 VR 视频拍摄时,有一点非常重要,那就是千万不要离相机太近,否则拍摄对象就会出现畸变变形和缝合不完整等情况。

而这个“距离”就叫做 VR 相机的安全距离。动点科技之前也体验过很多 VR 相机,而他们的安全距离基本上都要达到 1 米以上,然而,最近一家名叫西顾视频 FXG VR(以下简称西顾视频 ) 初创公司找到动点科技,该公司创始人李文松告诉动点科技,他们研发了一款名叫 ET-2 的VR相机,安全距离小于 30 厘米。

显然,这是一个不小的技术突破,但李文松以及他名不见经传的西顾视频到底是如何做到的?

VR 相机为何有安全距离

据了解,我们使用的相机的镜头就相当于一个凸透镜,可以把凸透镜的中心近似看作是光心,也称作“节点”,而相机的视场角则是由该点向外延伸线的夹角,以“背靠背”排列的双目 VR 摄像机举例,两个镜头在极限视场角处的视线会相交于一点,而该点到相机的距离便会直接影响到上面所说的安全距离大小。

由此原理可知,想要缩小安全距离其实有两个办法,一是采用视野范围更大的镜头,二是缩小节点与节点之间的距离。

难题如何解决?

而西顾视频的 ET-2 一方面采用了单目 240 度视场角的广角摄像头,但更关键的则是该相机采用了更为独特的镜头排列方式,缩小节点间的距离。

理光双目折返式棱镜方案

据李文松介绍,以双目 VR 相机举例,传统光学方案是一种名叫“背靠背”的方案,该方案中,两个相机的光学元器件“背靠背”对称排列,导致节点差大,安全距离远。为此,理光设计了如上图所示的双目折返式棱镜方案,极大地缩小了节点差。不过,李文松表示该方案的虽然极大地压缩了相机的厚度,并减少了相机安全距离,但相机的成像元器件却无法做得更大,成像质量大受影响。

为此,李文松研发了一种名叫“交错式背靠背”的镜头设计,与“背靠背”的方案类似,只是两个镜头并非完全对称,而是有一定的错位,从而将成像元器件移动到了另一个镜头的位置附近。“虽然这导致相机的宽度(或长度)有所增加,但相机厚度却相较于‘背靠背’方案缩小了近一半,而成像器件也可以做得很大,且散热也可以做得更好。”李文松表示。

交错式背靠背

基于同样的原理,李文松认为减少多目相机(3DVR 相机)的安全距离的关键其实也是减小相邻相机的节距,也就是将相机做得更紧凑。“然而,很多 4 目或者 6 目相机为了模拟人眼的双目立体成像效果,相邻镜头之间的距离也都做成了 6 到 8 厘米,这就导致了这些相机严重的安全距离问题。”李文松表示,西顾视频 ET-2 相机虽然是 8 目相机,但直径才 8cm 多,“是目前全球直径最小的 8 目相机”,而镜头节距也仅仅只有 3 厘米多,安全距离小于 30 厘米

由于 ET-2 相机相邻镜头之间的距离已经远远小于 6 到 8 厘米的人类双眼间距离了,那么它又是如何实现 3DVR 效果的呢?

对此,李文松介绍,3DVR 相机的发展其实也经过了3代:

第一代类似于上图,将多组能够产生双目视差的镜头成对放置在 3 条、4 条或者更多条边上,然后将左右镜头各自拼接起来,从而形成左眼全景图与右眼全景图。

第二代与第一代类似,但方案做成了圆形,最少需要 4 个摄像头达到 3DVR 效果。第一代方法有专门的左眼摄像头和右眼摄像头,而第二代方案则是利用软件技术在画面中裁切出了左眼图像和右眼图像而已。不过,前两代方案都有一个问题,即要想模拟人眼的双目立体成像,就意味着相邻镜头之间的距离要跟人眼瞳距类似,相机难以小型化,安全距离大。

李文松认为 ET-2 相机采用的方案属于第三代,该方案可以选取间隔 1-3 个相机拍摄出的图像进行拼接,从而保证相机视差与人眼类似,而同时,也可以将相机做得更加紧凑小巧,从而将安全距离压缩到了 30 厘米以下。

6DoF,西顾视频的另一大招

DoF,即自由度的意思。

在 VR 头盔发展历程中,首先大规模出现的是 3DoF 产品,包括 Oculus DK1 在内均属于此类,然而,佩戴这类头盔,用户只能通过“摇头晃脑”更换视角,这并不是消费者所期待的 VR 头显。消费者渴望的,其实是在 VR 世界里自由自在地飞奔,而要实现此类 6DoF 功能,以前只能依靠昂贵且极占空间的位置追踪外设来实现。因此,VR 从极火瞬间掉落进了冰窟窿,至今尚未翻身。

然而,随着 Oculus GO、HTC Vive Focus、Pico Neo 等成本更低、更便携、更清晰的 6DoF 一体机的出现,VR行业离复苏似乎更近了一步。至少在李文松看来,支持 6DoF 功能的 3DVR 视频内容已经迎来了发展的春天。

关于 6DoF 内容,李文松介绍,利用游戏引擎开发出来的内容都是天然的 6DoF 内容,但这种方法制作出来的内容虽然有着质量好等诸多优点,却也面临着费时、费力、费钱的窘境。因此,李文松认为利用摄像机拍摄 6DoF 内容或许是一个更好的替代方案。

李文松介绍,利用摄像头拍摄 6DoF 内容其实可以分为 Outside-in 和 Inside-out 两种方法:

Outside-in,即将摄像头围成一圈往中间拍。其中最为典型的便是今年年初英特尔宣布成立的全新立体内容工作室 Intel Studios,据悉,Intel Studios 是一个沉浸式媒体体验中心,占地面积高达 10000 平方英尺,系统利用摄像机阵列,采集场景内所有信息,并以此渲染复制出虚拟场景。李文松认为,该方案的好处是拍出来的内容可以很方便地从各个方向观察,但缺点也很明显,那就是拍摄范围有限,“你总不能将故宫也搬到里面去拍吧。”李文松开玩笑。

而西顾视频则采用了一种 Inside-out 的方案,即用多目相机从中间往周边拍。李文松解释,由于 ET-2 可以选取间隔 1-3 个相机拍摄出的图像进行拼接,从而可以拼接出多个视角稍有差异的完整的全景影像,此后,利用计算机技术虚拟出其他视角的全景影像。用户佩戴上 6DoF 眼镜之后,即可体验到移步换景的 6DoF 视频。

虽然 Inside-out 方案也并非完美,比如,该方案会遇到物体阻挡等问题,导致玩家只能在一个很小的“安全范围”内自由行走,否则就会因看见了拍摄机无法捕捉到的部分破绽而出戏。但李文松还是更倾心于这种方案,在李文松看来,该方案虽然有这样那样的不足,但拍摄范围更大,方便携带,而且更重要的是,该方案在未来有望形成 UGC 的内容生产模式,而 Outside-in 方案只能给到非常专业的工作室使用。

另外,李文松坚信,Inside-out 方案的缺陷其实也并不是完全没有可能解决。“未来也可以采用多机配合,甚至用人工智能的方法对遮挡部分进行补救。”李文松表示。

实际上早就有人提出过做 6DoF 视频的建议,但由于技术上的各种限制未能成行,而其中数据量太大是其中最重要的一个原因。对此,西顾视频专门开发了自己的算法和视频播放器。“同等清晰度下,3DVR 视频的数据量只有 2DVR 视频的两倍,6DoF 只比普通 3DVR 视频增加 2 倍不到的数据带宽,已经初步支持在网上的传输,播放和存储了。”李文松表示。

目前,西顾视频 FXG VR 团队现有员工约 30 人,为了新技术不断的迭代研发,拓展现有的项目和市场,他们也在寻求对前沿科技等感兴趣的资方进行合作。

关于 吉运好熊

吉运好熊
清华计算机系

检查

Scaling Law终结,量化也不管用,AI大佬都在审视这篇论文

几十万人关注,一发表即被行业大 …

发表评论

邮箱地址不会被公开。 必填项已用*标注