什么是大数据？大数据能干什么？

你好！

大数据技术可以理解为在巨量的数据资源中提取到有价值的数据加以分析和处理，主要的表现特征如下：

数据量大（Volume）：第一个特征是数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。

类型繁多（Variety）：第二个特征是种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

价值密度低（Value）：第三个特征是数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。

速度快时效高（Velocity）：第四个特征数据增长速度快，处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。

大数据的岗位可以分为三大类：

大数据系统研发人员、

大数据应用开发人才和大数据分析人才；

最普遍同时需求也大的是大数据系统研发工程师、大数据应用开发工程师和数据分析师。

大数据架构工程师：

负责Hadoop集群架构设计开发、搭建、管理、运维、调优；负责数据对接和对外服务设计、开发和维护； 负责大数据框架和大数据应用的程序设计、开发和维护；负责基于大数据技术对海量数据的自动分析处理和挖掘工作；

大数据开发工程师：

基于hadoop、spark等构建数据分析平台，进行设计、开发分布式计算业务；辅助管理Hadoop集群运行，稳定提供平台服务；基于Spark技术的海量数据的处理、分析、统计和挖掘；基于Spark框架的数据仓库的设计、开发和维护

大数据运维工程师：

负责大数据基础平台的运维,保障平台的稳定可用；负责应用产品部署、上线及维护；负责大数据平台资源管理、性能优化和故障处理；深入研究大数据业务相关运维技术，持续优化集群服务架构;参与设计大数据自动化运维、监控、故障处理工具。

希望以上回答对你有所帮助，想对大数据有更多的了解，你可以关注我的专栏：

或加入大数据交流圈：