虚拟现实视频处理与传输技术

doi:10.11959/j.issn.1000-0801.2017244

电信科学 ›› 2017, Vol. 33 ›› Issue (8): 45-52.doi: 10.11959/j.issn.1000-0801.2017244

• 专题：视频技术的理论与实践 • 上一篇下一篇

虚拟现实视频处理与传输技术

董振江,张东卓,黄成,刘海军

中兴通讯股份有限公司，江苏南京 210012

修回日期:2017-08-02 出版日期:2017-08-01 发布日期:2017-08-25
作者简介:董振江（1970-），男，中兴通讯股份有限公司研究员级高级工程师、云计算及IT研究院副院长，中国人工智能学会常务理事，中国计算机学会服务计算常务委员，主要研究方向为人工智能、AR/VR、媒体分析与处理等。|张东卓（1974-），中兴通讯股份有限公司资深架构师，主要研究方向为虚拟现实和增强现实。|黄成（1978-），男，中兴通讯股份有限公司高级系统工程师，主要研究方向为视频传输与多媒体通信系统。|刘海军（1970-），男，中兴通讯股份有限公司预研项目经理，主要研究方向为智能家居业务与技术，包括视频业务、人机交互技术、人工智能应用。

Technology of virtual reality video processing and streaming

Zhenjiang DONG,Dongzhuo ZHANG,Cheng HUANG,Haijun LIU

ZTE Corporation,Nanjing 210012,China

Revised:2017-08-02 Online:2017-08-01 Published:2017-08-25

摘要/Abstract

摘要：

虚拟现实（VR）是当前视频领域研究热点。介绍了VR视频内容制作以及终端显示技术现状，分析了基于用户视点的VR视频处理关键技术，最后探讨了VR视频传输模式及其对承载网络的需求。

关键词: 虚拟现实, 虚拟现实视频, 投影, 区域封装, 基于视点视频编码, 全景视频传输

Abstract:

Virtual reality is a hot topic in the field of video.The current situation of VR video content production and VR video display technology was introduced,and the key technologies of viewport dependent VR video processing were analyzed.Finally,the mechanisms of VR video streaming and corresponding network requirements were discussed.

Key words: virtual reality, virtual reality video, projection, region-wise packing, viewport dependent video coding, omnidirectional video streaming

中图分类号:

TN919.8

董振江,张东卓,黄成,刘海军. 虚拟现实视频处理与传输技术[J]. 电信科学, 2017, 33(8): 45-52.

Zhenjiang DONG,Dongzhuo ZHANG,Cheng HUANG,Haijun LIU. Technology of virtual reality video processing and streaming[J]. Telecommunications Science, 2017, 33(8): 45-52.

图/表 9

表1

图1

图2

图3

表2

图4

图5

表3

表4

阶段（显示屏分辨率）	阶段1（2K VR）	阶段2（4K VR）	阶段3（10K VR）	阶段4（极致体验VR）
商用时间段	2016—	2018—	2020—	2022—
头盔显示屏分辨率	2 160 dpi×1 200 dpi	4 320 dpi ×2 400 dpi	9 600 dpi ×4 800 dpi	14 400 dpi ×7 200 dpi
单眼视角内像素/帧频	1 080 dpi×1 200 dpi/60帧/s	2 160 dpi ×2 400 dpi/90帧/s	4 800 dpi ×4 800 dpi/120帧/s	7 200 dpi ×7 200 dpi/120帧/s
单眼视角FOV	110°×120°	110°×120°	120°×120°	120°×120°
像素密度	10	20	40	60

投影结构	三维模型	二维映射	顶点	面积比率
正四面体			4	3.31×2.11×
正六面体			8	1.91×1.22×
正八面体			6	1.65×1.05×
正十二面体			20	1.32×0.84×
正二十面体			12	1.21×0.77×

VR视频类型	视频格式	本地计算需求	网络存储分发需求	网络计算需求	网络带宽需求	网络时延需求
本地VR视频	全景	高	无	无	下载	无
全景VR网络视频	全景	中低	标准	无	高	低
预制FOV VR视频	预存FOV	低	高	低	中	中
即时FOV VR视频	即时FOV	低	标准	高	中	中高
（网络即时计算生成FOV视频）

阶段	阶段1（2K）	阶段2（4K）	阶段3（10K）	阶段4（极致体验VR）
商用时间段	2016—	2018—	2020—	2022—
头盔显示屏分辨率	2 160 dpi×1 200 dpi	4 320 dpi×2 400 dpi	9 600 dpi ×4 800 dpi	14 400 dpi ×7 200 dpi
单眼视角内像素/频率	1 080 dpi×1 200 dpi/60帧/s	2 160 dpi×2 400 dpi/90帧/s	4 800 dpi×4 800 dpi/120帧/s	7 200 dpi×7 200 dpi/120帧/s
单眼视角FOV	110°×120°	110°×120°	120°×120°	120°×120°
像素密度	10	20	40	60
全景总像素/频率/色深（注1）	3.98×10⁶dpi/60帧/s/8 bit	2×15.9×106 dpi/90帧/s/10 bit	2×66×10⁶dpi/120帧/s/12 bit	2×148.5×10⁶dpi/120帧/s/12 bit
VR视频投影格式（注2）	ERP（×1.57）	ERP（×1.57）	ISP（×1.21）	ISP（×1.21）
原始无压缩码率/（Gbit·s^-1）	3	45	230	517
压缩比	200(H.265)	200(H.265)	400(H.266)	400(H.266)
压缩码率/（Mbit·s^-1）	15	225	575	1 294
带宽需求/（Mbit·s^-1）	22	337	863	1 940
传输往返时延RTT/ms	20	16	12	10
分组丢失率（TCP模式）	7.05×10^-4	4.69×10^-6	1.27×10^-6	3.62×10^-7
分组丢失率（UDP模式）	6.34×10^-7	5.63×10^-7	5.58×10^-7	5.58×10^-7

[1]	YU M , LAKSHMAN H , GIROD B . A framework to evaluate omnidirectional video coding schemes[C]// 2015 IEEE International Symposium on Mixed and Augmented Reality,September 29-October.3,2015,Fukuoka,Japan. New Jersey:IEEE Press, 2015: 31-36.
[2]	CORBILLON X , DEVLIC A , SIMON G ,et al. Viewport-adaptive navigable 360-degree video delivery[C]// ACMMultimedia Systems 2016 ＆ NOSSDAV,MoVid,and MMVE,May 10-13,2016,Klagenfurt,Austria. New York:ACM Press, 2016.

虚拟现实视频处理与传输技术

Technology of virtual reality video processing and streaming

在线阅读

PDF下载

可视化

被引次数

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 2

相关文章 10

Metrics

推荐阅读 0

[1]	李玉宏,张朋,金帝,周颖超. 应用对未来网络的需求与挑战[J]. 电信科学, 2019, 35(8): 49-64.
[2]	王凌豪, 王淼, 张亚文, 张玉军. 未来网络应用场景与网络能力需求[J]. 电信科学, 2019, 35(10): 1-12.
[3]	周一青,孙布勒,齐彦丽,彭燕,刘玲,张志龙,刘奕彤,刘丹谱,李兆歆,田霖. 面向通信与计算融合的5G移动增强/虚拟现实[J]. 电信科学, 2018, 34(8): 19-33.
[4]	罗莹,宋利,解蓉,罗传飞. 全景媒体的系统架构研究综述[J]. 电信科学, 2018, 34(2): 88-98.
[5]	刘洁,王庆扬,林奕琳. 5G网络中的移动VR应用[J]. 电信科学, 2018, 34(10): 143-149.
[6]	孙力,黄正谦,项振茂. 基于多方向像素连续折叠机制与Radon变换的图像加密算法[J]. 电信科学, 2017, 33(9): 108-118.
[7]	周建同,杨海涛,刘东,马祥,王田. 视频编码的技术基础及发展方向[J]. 电信科学, 2017, 33(8): 16-25.
[8]	罗传飞,孔德辉,刘翔凯,徐科,杨浩. 智慧家庭的VR全景视频业务实现[J]. 电信科学, 2017, 33(10): 185-193.
[9]	赵晋明. 一种基于投影寻踪的电信网络数据处理方法[J]. 电信科学, 2016, 32(12): 144-148.
[10]	康瑛石,王海宁,虞江锋. 基于云计算的虚拟化系统研究[J]. 电信科学, 2011, 27(4): 61-67.