探秘视频编码黑科技,窄带高清2.0视觉模型及场景实战

2017 年 10 月 22 日 机器学习研究会

“黑科技”这个词已经成为了今年云栖大会的关键词。那么,在我们熟知的视频领域,什么才算是黑科技呢?



我们知道,在通常情况下,视频画质越好带宽费用肯定越高,带宽又是视频服务中占比很高的一项成本,很多开发者都在寻求效果与成本的平衡点。那么,有没有一种技术,能够在保证甚至提高视频画质的同时,降低带宽呢?如果有的话,小编觉得这一点可以算是黑科技了吧。


今天,小编就带大家来了解下刚刚在云栖大会上重磅发布的阿里云窄带高清2.0,看看它是如何超越压缩极限,在视觉效果和带宽成本中找到平衡的。


首先,我们来看一张手机上的视频截图,这是优酷的标清模式,采用了窄带高清的转码技术,分辨率是360P,码率在300K。实际上在人眼感官上,已经达到了540P甚至720P的效果。


( 本截图只做举例展示使用,版权归版权方所有 )


那窄带高清究竟是什么呢?——一种神奇的视频编码技术


刚刚前文提到,带宽成本是视频服务中非常重的基础设施成本,如何在保证视频质量的前提下降低成本是整个链路中至关重要的一环。所以,在视频服务中,视频的编码和解码是非常重要的技术。


业内的转码技术从MPEG2,到H.264,到H.265大概是下图的技术发展曲线,每隔十年的时间,视频的压缩率会提升一倍左右,平均下来,每年行业视频压缩率能提升只有不到7%。这种客观发展规律之下,视频行业内的从业者给对手造成压倒性的竞争优势已经变得非常困难。



视频编解码行业的出发点是信息论。所以,行业内视频编解码技术是基于信号失真度最小这一基准来做优化的。

在无法逾越视频转码客观发展规律的前提下,阿里云视频转码另辟蹊径,研发了窄带高清技术。简单来说,窄带高清是一套以人眼主观感受最优为基准的视频编码技术。


它有几个关键点:


  1. 能和编码标准的进步垂直发展,效果能够叠加


  2. 能把业界普遍浪费的带宽节省下来


  3. 能把业界普遍处理不好的复杂场景优化


  4. 能让普通观众一眼就能看出画质的效果不同


我们先来了解下窄带高清1.0


过去的一段时间,阿里视频云一直强调可以通过技术来帮助客户节省成本。以优酷为例,我们能达到什么效果,又能节省多少成本呢?



上表可以看出,老优酷的视频配比是:1080P是3Mbps,720P是1.5Mbps,540P是0.8Mbps,我们可以加以联想,好莱坞大片需要3Mbps,而1080P访谈节目仅仅需要1Mbps就足够了。

所以,有一些带宽是被浪费的。使用了窄带高清后的新优酷,有效节省了多余带宽,1080P的平均码率降低到1.6Mbps,720P的平均码率为1.0Mbps,540P的平均码率仅需要0.5Mbps。

如此,窄带高清技术每年能够为优酷节省数亿成本,这就是所谓的“窄带”。


那“高清”是什么呢?高清是指能够把业界普遍处理不好的复杂场景做漂亮。

实际上,通常所说的“画面太复杂,很难编”是因为码率带宽受限而产生的画面模糊。

那码率受限的情况下,通过调整分辨率,窄带高清可以将画面处理的更细腻,提升美观度,让用户体验得以提升。


窄带高清背后有两套视觉模型



第一套是失真度和主观感受的关系模型,当我们的保真度越来越高,人眼逐渐就没有感受了,所以卡在失真度并没有很大变化的临界点上,就可以适当节省带宽了,如上左图。


第二套是分辨率和码率的关系模型,不同的片子有不同的特征,拿优酷上典型的片子举例:

晓说是访谈类节目,画面变化不大,1080P只需要1Mbps;

三生三世十里桃花是节奏比较缓慢的电视剧,1080P需要2Mbps;

极限挑战这类综艺节目,镜头迅速切换,1080P需要3Mbps,如右图。


有了这个模型之后,可以非常清楚的知道该分辨率下需要什么码率去支撑,所以通过编解码器的配置,就能够达到相对优秀的视频效果呈现,并且节省带宽。


在云栖大会视频多媒体分论坛上,阿里巴巴高级专家江文斐也表示:“我们沿着人眼视觉模型这条路接着往下走,省下来更多人眼看不到的信息,减少带宽浪费,于是,我们有了窄带高清2.0”。


窄带高清2.0主观及客观测评结果


早在窄带高清2.0在正式发布之前,阿里云进行了一系列测评,具体形式是邀请30位测评者对不同编码器和码率情况下的视频进行主观打分,下图是测评结果。



左图是1080P编码的RD曲线,横轴是码率,纵轴是主观评分,大体规律是码率越高,质量越好,主观评分越高。



转自:云栖社区


完整内容请点击“阅读原文”

登录查看更多
5

相关内容

黑科技是在《全金属狂潮》中登场的术语,原意指倾听者所拥有,但是非人类自力研发,凌驾于人类现有的科技之上的知识;引申为以人类现有的世界观无法理解的猎奇物。也可泛指某些技术宅自制的杀伤性科技,例如激光枪、电磁炮、原子弹等。
黑科技 - 萌娘百科
【CVPR2020】跨模态哈希的无监督知识蒸馏
专知会员服务
59+阅读 · 2020年6月25日
【SIGIR2020】用于冷启动推荐的内容感知神经哈希
专知会员服务
22+阅读 · 2020年6月2日
 图像内容自动描述技术综述
专知会员服务
84+阅读 · 2019年11月17日
【干货】谷歌Joshua Gordon 《TensorFlow 2.0讲解》,63页PPT
专知会员服务
24+阅读 · 2019年11月2日
TensorFlow 2.0 学习资源汇总
专知会员服务
66+阅读 · 2019年10月9日
TF - GAN入门:TensorFlow 2.0 的轻量级 GAN 库
新智元
5+阅读 · 2019年10月8日
已删除
将门创投
7+阅读 · 2018年12月12日
一文读懂图像压缩算法
七月在线实验室
15+阅读 · 2018年5月2日
如何设计基于深度学习的图像压缩算法
论智
40+阅读 · 2018年4月26日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
【工业大数据】工业大数据层层深度解析!
产业智能官
3+阅读 · 2018年1月20日
Object detection on aerial imagery using CenterNet
Arxiv
6+阅读 · 2019年8月22日
Arxiv
12+阅读 · 2019年4月9日
Arxiv
8+阅读 · 2018年5月21日
Arxiv
9+阅读 · 2018年5月7日
VIP会员
相关VIP内容
【CVPR2020】跨模态哈希的无监督知识蒸馏
专知会员服务
59+阅读 · 2020年6月25日
【SIGIR2020】用于冷启动推荐的内容感知神经哈希
专知会员服务
22+阅读 · 2020年6月2日
 图像内容自动描述技术综述
专知会员服务
84+阅读 · 2019年11月17日
【干货】谷歌Joshua Gordon 《TensorFlow 2.0讲解》,63页PPT
专知会员服务
24+阅读 · 2019年11月2日
TensorFlow 2.0 学习资源汇总
专知会员服务
66+阅读 · 2019年10月9日
相关资讯
TF - GAN入门:TensorFlow 2.0 的轻量级 GAN 库
新智元
5+阅读 · 2019年10月8日
已删除
将门创投
7+阅读 · 2018年12月12日
一文读懂图像压缩算法
七月在线实验室
15+阅读 · 2018年5月2日
如何设计基于深度学习的图像压缩算法
论智
40+阅读 · 2018年4月26日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
【工业大数据】工业大数据层层深度解析!
产业智能官
3+阅读 · 2018年1月20日
相关论文
Top
微信扫码咨询专知VIP会员