深瞐科技 CTO 王建辉：4 级结构化系统 +4 大产品，助力云到端的视频结构化

AI掘金志出品

雷锋网旗下只报道“AI+传统”的内容频道

3月31日，由雷锋网主办的AI盛会 ——「2018中国人工智能安防峰会」，在深圳科兴科学园国际会议中心落下帷幕。

大会现场，深瞐科技CTO王建辉发表了主题演讲：《从云到端的视频结构化》。

王建辉在演讲中表示，现有传统安防监控体系往往无法消化摄像头不断产生的海量数据，这致使视频监控产品已经无法满足行业提出的新需求。

针对这一现状，深瞐科技从视频结构化系统入手，在视频里面提取行人、车辆、非机动车特征，并分析车辆的信息和司机行为。在深圳交警的一次测试中，深瞐科技取得了大货车检出率、车牌检出率和车牌识别正确率三项第一，表现抢眼。

谈及“AI+安防”的行业现状与未来，王建辉给出三点看法：首先，云端视频结构化的解码能力已经成为性能瓶颈；其次，边缘计算已经能够满足视频结构化所需的计算能力。未来，视频结构化运算会慢慢地向前端转化。

以下为王建辉演讲实录，雷锋网AI掘金志做了不改变原意的编辑：

大家好，我是北京深瞐科技有限公司的CTO王建辉，今天演讲的主题是“从云到端的视频结构化”。

首先介绍一下我们公司，我要说这个瞐字，很多人第一眼都以为我们公司叫“深晶”。瞐由三个目组成，它代表的是美丽深邃的眼睛，从这个字也能理解出我们公司主要是做计算机视觉相关的工作，同时我们希望做守护世界的第三只眼，主要是在安防产业发展。

大家都知道，现在中国的摄像头非常多。据行业的统计数据是有1.76亿摄像头，未来三年会增加到6亿多，每秒钟产品的数据量是66TB。这样大的数据量，传统的基于肉眼的安防监控已经越来越不能满足安防行业的需求。

传统的安防设备产生的是没有经过结构化的数据，现在主要是进行一些威慑、侦查取证的作用，我们如何利用这些数据来发现犯罪行为，然后进行一些分析？

下图是深瞐科技现在的视频结构化系统，它可以在视频里面提取出行人、车辆、非机动车，同时会分析出它非常详细的属性。

我们的视频结构化系统分为四级，首先我们会从加油站、停车场、卡口、道路监控设备里面提取视频数据，然后对它进行一级结构化。

一级结构化主要是对行人、自行车、两轮摩托车、三轮摩托车、轿车、面包车、卡车、大型客车这8类目标的检测识别追踪：

每一个目标从进入视场到出视场，我们会对目标进行择优去重，获取一张最适合进行二级结构化的图片，去进行二级结构化。

这是我们针对车辆的二级结构化的示意图：

我们目前支持的车辆品牌型号，车头是5500多种，车尾是3500多种，已经基本上涵盖了目前中国路面上所有行驶的车辆。

同时，我们的车牌识别可以支持全属性识别，我们还会识别驾驶员的违法行为，比如说未系安全带、开车打电话。同时我们还会识别车辆更特征化的属性，比如说年检标是怎么排列的，遮阳板有没有放下来，纸巾盒、天窗、备胎等等属性我们全部都要识别出来。

针对人，我们需要提取性别、年龄、发型和胡须、上衣颜色、裤子颜色、款式等等属性。

深瞐科技识别人和车的属性一共有40多种，现在这套系统的应用范围非常广：

去年深圳安博会上，一号馆里展示过视频结构化技术的公司共13家，其中7家的后台技术由深瞐提供。

这是我们前段时间在深圳交警的一个测试：

我们需要进行大货车的检测以及大货车车牌识别，深圳交警关注的三项技术指标我们全部获得了第一，从这个测试结果里面我们大概可以看到，我们现在车辆的检出率都在97%到99%。这个测试集一共是100万张图片。

以下是一些行业应用的示例：

这是一个假套牌车的识别案例：

深瞐与西安交警合作，协助他们实时识别出路面上5辆出租车用的是同一个牌照。

我们也针对驾驶员的违法驾驶行为进行预警和布控，比如说没有系安全带、开车打电话等等。同时在一些危化品车辆方面也可以进行布控和预警。

针对车辆的犯罪里面还有一类是同行车辆的挖掘，比如说抢劫案件和同伙作案，它们都会涉及到车辆的同行，我们会通过车辆的轨迹重现以及同行车辆的挖掘来解决问题。

深瞐科技的视频结构化主要布置在安防行业的四大类产品中：结构化智能相机、嵌入式视频分析器、智能存储、集中式分析服务器。

从云端到前端，我们都有相应的解决方案。

刚才讲到去年安博会一号馆中的7家大型安防公司在使用深瞐科技基于GPU环境下的云端解决方案。

那么在云端解决方案里，一张TeslaP4的卡，如果只是针对结构化的计算，我们可以对48路1080P视频进行结构化，如果考虑到1080P视频的解码，解码也非常消耗计算量。

如果把解码和结构化全部考虑进去，现在一张P4的卡只支持24路1080P 30帧解码，加上24路的视频结构化运算。这样可以发现，我们公司目前在视频结构化方面，系统性能并不是受限于视频结构化算法的效率，而是视频解码的效率。

为了寻找解码和计算能力上的匹配，后来我们采用了英伟达的TX2。

TX2具有8路1080P硬解的能力，计算能力满足我们公司进行8路视频结构化的运算，而且TX2有一个优点是我们原来在GPU上的算法可以非常方便的移植到TX2这个平台上。

另外，深瞐团队还做了一个嵌入式的盒子：

这个采用了海思Hi3559A解决方案的盒子可以接到安防摄像头的后面，能够满足8路视频编解码的能力，同时它的NNIE也能满足8路视频结构化的运算能力。

我们也做了一些智能前端的解决方案，这套方案基于海思3516和赛灵思7020 FPGA芯片。在Zynq上搭建了一个神经网络加速器，可以满足1080P 30帧每秒一级结构化的运算，检出率在95%以上，功耗仅为5瓦。

最后，我来做一总结，目前在云端视频结构化里，解码的性能会越来越多地成为性能瓶颈，之前大家都觉得深度学习是瓶颈，实际上经过优化之后，它的计算会非常快。另外，边缘计算已经能满足视频结构化计算所需要的能力，所以我们觉得将来视频结构化运算会慢慢地由云端向前端去转化。

长按二维码，关注雷锋网旗下「AI掘金志」