网易视频云：从处理流程到细节优化，解读点播直播背后的技术

编者按

2016 年被视为直播元年，根据相关数字显示，目前中国互联网约有二百多款直播 App 和四百多家直播平台。其实，视频编码的研究由来已久，互联网规模化的视频服务也已经十余年。在 Vimeo 和 YouTube 正式成立前，最早的视频网络服务雏形可以追溯到 1997 年的一个网站。

网易第一个产品广为熟知是 2010 年的“全球名校视频公开课栏目”，首批上线有 1200 集课程，网易称其视频的技术积累已有十五年；如今，网易向外推出了视频云服务，支持点播和直播两种模式，其中直播又分为单向直播和互动直播。那么，网易视频云背后的技术沉淀是怎样的？除了传统的点播，如何应对新时代的直播业务？如何应对移动互联网等技术背景环境的变化？又怎样看待 VR、AR 浪潮对视频界的冲击？带着这些问题，InfoQ 采访了网易杭州研究院视频技术专家郭再荣先生，本文整理自采访内容。

互联网视频产品始于六年前

在视频技术方面，网易最早开发视频点播服务、播放器、后台转码工具，主要用于网易系内部产品，比如网易门户网站视频、公开课、云音乐等产品，属于产品内部研发团队。后来随着需求的逐步增大，我们逐渐把把这些公共技术提取出来，整合成通用的平台工具，并服务于网易有视频需求的产品。

在视频转码系统的开发方面，前期我们已经累积了丰富的经验，经过不断的改进优化，已经逐渐形成了一套分布式转码集群：支持同步和异步的转码任务，负责多媒体数据的处理，这目前已经成为视频云产品的核心底层系统。同时，在提供视频点播服务中累积了丰富的流媒体分发网络方面的经验，包括中心调度策略、分发节点的选择、节点的加速传输方面的优化等，这套系统就是现在视频云产品的 CDN 分发网络的前身。

视频的处理流程及架构总览

通常而言，按时间的横向视频处理流程，一个视频从在客户端上传，到最后播放在另外一个播放器中，经历的流程如下：

视频的构架主要包括音视频采集、预处理、编码、传输、服务端处理、解码等步骤。

网易视频云视频处理包括推流端的预处理，服务端转码处理，播放器端的后处理几个部分，如下图所示。

点播 VS 直播的流处理

我们网易视频云目前为需求者提供点播和直播服务，同时包含互动直播服务，也提供视频转码和视频处理服务。对于视频云平台来说，拥有庞大的流媒体分发网络、强大的转码系统、海量分布式存储服务、功能完善的全平台 SDK 包非常重要。

在点播和直播的异同点上，我们通过如下构架图来表示，其实主要区别是视频源的生产方式不同，流媒体分发网络是一样，播放器端是一样，另外点播需要存储系统，而转码两者都可以有，具体要看各自的应用场景。

算法、硬件和网络三个维度

首先，网易视频云对音视频算法进行了深度优化。对于互联网视频，最重要的就是在保证视频同等质量的情况下，进行码率压缩。这样，在网络不佳时，尽量保证流畅；在网络抖动时，减少对播放带来的影响。除了压缩之外，对于近来兴起的直播业务，还需要对视频预处理。

在对音视频数据压缩编码时，要进行一些预处理，同时编码算法上尽量保证码率平滑。先来谈谈对于音频处理：从麦克风采集的音频，一般是 PCM 格式，视频从摄像头抓取图像，也可以抓取屏幕图片，一般是 YUV 格式。而采集到的原始音视频体积非常大的，需要经过压缩技术处理来提高传输效率。当有混音需求时，也可以通过采集声卡的音频数据，然后再跟麦克风的声音进行混音。对于采集的音频一般先要进行降噪处理，因为在户外环境下，噪声会比较明显。如果涉及到互动直播，在双向通话的情况下，还需要对音频进行回声抑制处理，防止出现回声效果。

再谈谈图像处理，对于直播业务：我们对于采集的图像会进行特效滤镜处理，比如黑白、黄昏、提亮、美颜等，但是这些处理非常耗费性能，一般都需要用 OpenGL ES 来实现，同时也可以进行图像叠加，比如给主播加个帽子，或者为了保护版权，加个水印图片。在播放器显示的时候也可以在头像上做一些处理，比如全屏的时候图像拉伸、填黑边、裁剪，也可加上走马灯，进行版权保护。再举例说明，比如在实时监控的场景中，要实现对于局部画面的实时放大；相对于直播中的预处理，这类操作属于后处理范畴。算法层面的加工主要有三点：预处理、后处理和编码。

其次，在硬件上面，客户端是依赖于用户已有的设备，我们的发力点是在服务器端。网易视频云有分布式转码集群，并采用软件和硬件结合的转码方式，对应到芯片依赖类别上则是 CPU 和 GPU，权衡两者结合使用：对于大并发的任务，利用 CPU 资源进行软件转码模式；而对于高实时性要求的任务就利用 GPU 资源进行硬件转码模式，特别是对于高清视频的转码，能达到更快的转码速度。结合直播应用而言，虽然依靠 CPU 计算的软件转码可以实时得到结果，但是这会造成资源的浪费。

另外，视频云自建流媒体分发网络，在全国部署了接流源站和分发节点，资源节点数量达到 500 个以上，并利用自有的智能调度系统，保证直播的流畅性；同时网易也自建了海外专线，保证海外数据流回到国内时走专门优化的链路，确保流畅度。

应对移动网络干扰

不管是直播还是点播服务，都存在一个端到端的数据传输链路问题。我们采用智能调度策略来解决这个问题，就是根据客户端的网络类型、地域、出口 IP 等信息，选择最优节点给客户端。最优节点的方案有两种：

• 一种是根据客户端的 DNS 域名来选择就近的节点，当 DNS 配置有误的时候，可能会存在调度不准的问题。
• 另外一种是根据客户端的出口 IP 来选择节点，这种调度方式会比较准确一些。同样对于播放器端也是采用类似的方式来选择流媒体服务器集群的边缘节点，另外也可以用 HTTP 302 跳转的方式来优化播放链路。

具体对应到两种播放模式的处理上：

对于点播来说，可以对同一个视频源部署多条流，即不同分辨率和码率的视频源，这样用户在观看的时候可以切换选择。

对于直播来说，视频云也提供实时转码功能，可以转码出多条不同分辨率和码率的直播流，这样用户在观看的时候可以切换选择。

视频界的发展历程及未来挑战

音视频编码既要尽可能地对文件压缩，同时又追求最高的音频和图像质量，还要能有更少的计算量，这三个目的指标是相互矛盾的。

从事视频编码近十年，在我看来：音视频编码标准正变得越来越复杂，能达到的音频和图像的质量也更好，压缩率也有较大提高，但是对应的算法计算量也越来越大，比如目前发展势头很猛的 H.265 标准。这一切的发展都是基于硬件设备性能越来越强大，可以承受更多的计算量。现在的手机 CPU 都能做 2K 的实时编码；若采用专有硬件编码芯片，那么性能就会更好。编码标准发展了，同等编码质量下的码率降低了，特别对于网络视频服务来说，用户观看视频更加流畅清晰了，企业的带宽成本也降低了。

在直播快速发展的同时，VR、AR 已经非常火爆，结合两者也是将来视频发展的趋势。但是在我看来，视频 VR 直播目前还有几大难点：包括采集设备、图像拼接算法、视频编码器、画面显示设备等。而目前的 VR 技术是从实验室刚开始转入应用的阶段，很多地方不完善，尤其是体验效果不佳、会让人感觉晕眩。此外，如果想要实际应用到网络视频，必须过了传输这关。VR 视频的分辨率非常高，至少 2K 以上，否则效果会比较差。多幅图像拼接之后，编码的码率就会非常高，一般在 10Mb 以上，互联网的传输也会有问题。因此，现在最多的也是一些离线的 VR 展示。另外，现在优质的采集和显示设备也比较贵，还达不到平民级的消费。目前还是在发展中，当然这是视频将来的方向。