大数据安全技术应用实践

一次性付费进群，长期免费索取教程，没有付费教程。

教程列表见微信公众号底部菜单

进微信群回复公众号：微信群；QQ群：460500587

---

微信公众号：计算机与网络安全

ID：Computer-network

大数据为信息产业的飞速发展奠定了坚实的基础，但同时也使得信息安全问题变得更加复杂。一方面，庞大的数据基数导致安全威胁发生的概率增大；另一方面，传统安全防护技术尚无法检测、感知与预测潜在的安全风险。大数据安全应用技术可以针对已有的海量数据，从时间和空间上进行分析与处理，总结与抽象出一些特征模型，为进一步的安全防护提供支持。本文结合相关领域的具体案例，逐一介绍大数据安全应用实践情况。

一、安全检测与大数据技术融合

随着互联网用户和移动宽带用户的迅速增长，网络犯罪也越来越多，给用户带来巨大的损失。根据国际电信联盟的数据统计，每天新增恶意软件 20 000 个，网络犯罪的受害者人数达到了 5.56 亿，直接造成的净损失达 1 100 亿。

安全威胁与风险主要表现在以下几方面。

● 恶意数据混杂在正常数据中；

● 恶意软件的制造趋向于专业化；

● 逃避检测的方法越来越多；

● 恶意软件生存期短。

在大数据时代，可以将安全检测与大数据技术进行融合，发现潜在的恶意软件等安全威胁与风险，帮助用户减少损失。安全检测与大数据技术融合架构如图1所示。安全检测的主要流程包括如下3个方面。

图1  安全检测与大数据技术融合架构

（1）数据收集：从网络中收集可执行文件、图片、压缩包、页面、流量等海量数据。

（2）数据提炼：对海量数据进行分类，并进行关联分析，采用挖掘算法对数据进行挖掘。

（3）安全检测：建立安全分析目标及模型，对数据挖掘结果进行评估，发现网络中的安全态势。

在对PB级数据进行提炼的过程中，可从多个维度对数据进行分类。从数据内容的维度来分，包括网络购物、金融理财、竞技体育等；从功能的维度来分，包括BBS/论坛等交互性站点、门户、搜索、Mail、代理服务器等；从平台的维度来分，包括操作系统和平台软件等。在数据提炼的过程中，还需要对数据的生命周期进行评估，包括安全检测的历史结果数据和当前的检测结果数据。

在对数据进行关联分析的时候，可能需要对数亿的事件进行关联检测，例如可从时间、地点、流量大小、邮箱、域名、IP等维度进行关联分析。

在大数据时代，安全分析模式发生了变化，海量的待分析数据与相对有限的分析能力之间发生矛盾。采用非关系型数据库和Hadoop的相关技术可解决此矛盾。

大数据在带来更多安全问题的同时，也为我们提供了更丰富的安全视角。从单个样本分析到多个样本关联分析再到海量挖掘，并结合数据的上下文，可以从网络中挖掘出更多的安全威胁与风险。

二、用户上网流量数据的挖掘与分析

大数据时代，运营商采用大数据技术采集和存储用户的流量详单，为客服人员和移动用户提供流量详细查询和流量告警等服务；并结合用户的其他数据，挖掘用户的使用行为，分析出用户的行为特征和兴趣取向等，为用户提供个性化业务推荐，可为运营商带来增值业务收入的增长。

1、流量详单查询

伴随着智能手机的普及，移动用户利用手机上网和社交越来越频繁。简单地访问一个新浪首页，上网记录就会产生 20 多条记录，这样每天会产生大量的数据，每月的上网记录数更达到万亿条。为满足查询和分析要求，需要存储3～6个月的历史数据，存储容量超过PB量级，并且移动互联网用户访问流量在快速增长（大约每半年翻一番）。在对如此大量的数据进行查询和分析操作时，系统性能会严重下降。为了满足上述需求，某运营商采用基于Hadoop/HBase的分布式架构，为移动用户提供上网记录查询和分析服务，为移动用户的流量消费提供明明白白的清单，为用户流量争议和投诉提供了解决手段，有效提升了公司服务水平，减少退费和赔付，为用户行为分析和个性化业务推荐提供基础信息。

2、用户行为分析

用户行为分析在流量经营中起着重要的作用，主要表现在以下两方面。

（1）用户行为结合用户profile、产品、服务、计费、财务等信息进行综合分析，得出细粒度、精确的结果，实现用户个性化的策略控制。

（2）对管道内容进行分析，比如图片、电影、网页等，深入理解用户的行为特征。

目前，流量经营分析中的瓶颈主要是数据的采集和处理。比如，某运营商省公司建立了营销门户系统，该系统为省公司提供精确化管理和个性化营销，实现对营销活动的日报统计等支撑，打造适用于全省各级营销管理人员、一线经理及支撑人员的营销支撑门户，并提供与营销活动相关的日报和月报统计，包括量收、欠费、用户发展、预警信息、机构树汇总等内容。目前每月新增数据量达到4T，传统方式分析结果超过 20 h，数据处理效率低且系统扩展困难。采用云计算架构、并行分布式处理等技术后，报表分析只需要 1 h，满足了报表对时限的要求，系统扩展性好，可用性高。

3、个性化推荐

在各类增值业务中，运营商可根据用户喜好推荐各类业务或应用，比如应用商店软件推荐、IPTV视频节目推荐等。这类应用需要处理的数据量大，实时性要求高，并且涉及大的非结构化数据以及智能分析，而大数据技术成为系统实现中关键的技术。以IPTV节目推荐为例，不仅需要分析用户已有日志、评论、打分等数据，还需要从互联网通过网络爬虫分析获得相关视频和评论进行综合分析。可以采用的相关技术包括并行计算框架、分布式文件系统以及文本分类/聚类/关联算法、文本摘要抽取、情感分析和文本语义分析、文本挖掘等智能分析算法。

三、基于大数据的网络态势感知应用

1、基于大数据分析的网络优化

在大数据的支撑下，采用智能分析技术实现网络管理的维护优化，提升网络维护的实时性，并实现事前预防。

（1）利用大数据查找网络问题

目前网络问题信息主要来自当前的网络安全管理过程、用户投诉或者客户端/服务器遥测。通过大数据技术分析响应时间、测量数据分组丢失率和延迟性的网络性能等态势数据，可以将数千（或数百万）数据元素与已知问题点相关联，找出相关性，然后通过大数据分析来找出网络问题根本原因。

利用大数据解决网络问题的另一种策略是使用大数据得出正常网络环境的基本数据，能知道当没有任何问题时网络的情况。这些“运行良好”时期网络数据的分析结果能帮助管理员确定什么是正常网络行为，并根据收集的数据来量化这种“正常”。然后，基于正常网络数据可以分析网络运营中可能出现网络问题的时段，从而找出造成这种状况的原因。

（2）利用大数据分析修复网络问题

通过大数据来检查资源如何受到网络事件、应用或服务器事件或者用户流量负载的变化的影响。当这些方面发生显著变化时，网络应该以可预见的方式做出响应。例如，应用流量的显著变化通常会导致响应时间的明显增加以及数据分组丢失率的上升等。

2、网络安全感知应用实践

随着大数据技术的成熟、应用与推广，网络安全态势感知技术有了新的发展方向，大数据技术特有的海量存储、并行计算、高效查询等特点，为大规模网络安全态势感知的关键技术创造了突破的机遇。

大规模网络所引发的安全保障的复杂度激增，主要面临的问题包括安全数据量巨大；安全事件被割裂，从而难以感知；安全的整体状况无法描述等。基于大数据的网络安全感知的能力模型与架构如图2所示。

图2  基于大数据的网络安全感知的能力模型与架构

网络安全感知能力具体可分为资产感知、脆弱性感知、安全事件感知和异常行为感知4个方面。资产感知是指自动化快速发现和收集大规模网络资产的分布情况、更新情况、属性等信息；脆弱性感知则包括三个层面的脆弱性感知能力：不可见、可见、可利用；安全事件感知是指能够确定安全事件发生的时间、地点、人物、起因、经过和结果；异常行为感知是指通过异常行为判定风险，以弥补对不可见脆弱性、未知安全事件发现的不足，主要面向的是感知未知的攻击。

随着 Hadoop、NoSQL 等技术的兴起，大数据的应用逐渐增多和成熟，而大数据自身拥有Velocity快速处理、Volume大数据量存储、Variety支持多类数据格式等特性。大数据的这些特性，恰巧可以用于大规模网络的安全感知。首先，多类数据格式可以使网络安全感知获取更多类型的日志数据，包括网络与安全设备的日志、网络运行情况信息、业务与应用的日志记录等；其次，大数据量存储与快速处理为高速网络流量的深度安全分析提供了技术支持，可以为高智能模型算法提供计算资源；最后，在异常行为的识别过程中，核心是对正常业务行为与异常攻击行为之间的未识别行为进行离群度分析，大数据使得在分析过程中采用更小的匹配颗粒与更长的匹配时间成为可能。大数据的出现，扩展了计算和存储资源，提供了基础平台和大数据量处理的技术支撑，为安全态势的分析、预测提供了良好的解决方案。

四、海量视频监控数据的分析与处理

结合视频监控业务特点，引入 Hadoop 的架构，以顶层设计的视角来构建面向大数据的视频监控架构，将对未来视频监控业务的规划设计产生深远的影响。面向大数据视频监控逻辑架构如图3所示。

图3  面向大数据的视频监控逻辑架构

（1）数据源层，包括实时数据和非实时数据。实时数据指IP摄像头和传感器产生的实时流媒体数据。非实时数据指从DVR、编码器、第三方系统导入的媒体数据。

（2）大数据存储层，采用HDFS和HBase实现数据低成本、高可靠的管理。把采集的流视频保存在 HDFS 集群内，并通过 HBase 建立访问的索引。把传统NVR和专用存储进行重构，纳入到整体的分布式文件系统中。

（3）大数据计算层，实现智能分析和数据挖掘。通过MapReduce把对视频的分析进行分解，充分利用闲置资源，把计算任务分配给多台服务器进行并行计算分析；另外一方面，根据智能分析产生的视频元数据，通过Hive挖掘视频元数据的价值信息。

（4）业务及管理层，实现设备和业务管理。基于Zookeeper组成的服务器集群，可以保证业务系统的无故障运营，基于Ganglia实现对摄像头等设备的监管。

基于大数据的视频架构，本质上是把视频数据作为最有价值的资产，以数据作为核心来构建技术架构，重点解决了海量的视频数据分散和集中式存储并存、多级分布等问题，极大提升了非结构化视频数据读写的效率，为视频监控的快速检索、智能分析提供了端到端的解决方案。

大数据视频架构是革命性的技术，特别在实时智能分析和数据挖掘方面，让视频监控从人工抽检，转变到高效事前预警和事后分析，实现智能化的信息分析和预测，在平安城市、智能交通、视频监控云服务等业务领域带来深刻的变革。

五、结语

大数据技术是一个新的技术发展方向，国内外已开展相关技术的研究与应用。大数据技术的显著优点是将自动化分析处理与深度挖掘相结合，将信息安全事件的事中、事后处理，转向事前的自动评估预测、应急处理，让安全防护由被动变成主动。安全产业可以利用这种趋势，将安全产品或方案与大数据分析相结合，形成从数据收集分析到安全管理策略下发，再到效果评估的一整套安全解决方案，从而完成垂直安全产品到真正全面解决方案的转变。

微信公众号：计算机与网络安全

ID：Computer-network

【推荐书籍】