日志处理技术前瞻 | “ CNUTCon & 日志处理 ” 探班系列

2018 年 11 月 16 日，CNUTCon 全球运维技术大会将于上海如期举行。会议第二日，“日志处理”专题亮相。针对该专题内的四大选题，小编对大会“日志处理”专题负责人饶琛琳做出了采访。

大数据时代的到来，不断刷新着人们对数据价值的认知。利用数据更好的为业务服务，则能带来更充足的客源，利用数据反馈于生产，则能指明研发的方向。

对于运维来说，最重要的数据，莫过于日志了。然而，各个集群的日志格式不一，数据量又那么庞大，怎样才能充分又省力的挖掘日志的价值呢？甚至有人会产生疑问，日志真的有那么大的价值吗？

在即将举行的 CNUTCon 全球运维技术大会中，围绕“日志处理”专题，各大互联网集团的四位大咖将会对此问题做出不同角度的解读。这里面会有什么有意思的分享呢，让我们自本次采访中探探底吧。

选题是如何确定的

此次的选题是以普及日志处理更大范围的运用为目的，日志不单单表现在访问日志及错误日志上的查看上，在其他方面，日志同样能够为运维的工作大幅赋值。选题从应用场景和性能管理方面分别进行阐述，旨在让观众知道日志处理可以用于何处，也知道为什么和怎么做。

从传统的运维层面来讲，日志运用的领域较为狭窄。本次选题从多个层面，会针对日志可能用到的方向去做普及。日志可以运用到服务器、网络端、移动端，也可以和测试等功能结合。而这些维度的运用，会给运维人员，或整个 IT 团队，以及业务部门，带来更大价值。这是选择移动端和 QA 与 Ops 通力合作议题的原因。

另一个方面，日志处理运用的范围广了，数据量也会激增，这对日志处理要求的难度就会增高。大规模的海量日志该怎么维护？围绕这点，于是有了日志平台化的选题。而仅仅有平台化还不够，高性能才是目标。这也是运维关注的热点。专题中把高性能放首位，也算不负各位同行的期待！

日志处理的未来发展方向是什么

互联网发展的趋势是用数据分析去驱动 IT 工作。而在日志处理方面，饶琛琳认为未来的发展方向有三个步骤，即集中化，AI 驱动，然后由此调动任务编排。

目前很多企业在日志处理上的常态是，各个部门有单独的日志系统，比如运维、测试、研发，这些部门的日志是分开处理的。这样，日志所起到的作用就相当有限。

数据集中化则能让数据发挥出 1+1>2 的价值。日志统一集中管理，就能获取到更全面细致的信息。在此基础上，利用人工智能的技术，能够让集中化的日志分析过程，更加的高效和准确。日志集中化也就是平台化，平台化能够将各个部门的工作紧密联系在一起，然后就可以做联动性，或者是调用服务编排。这样便能大大提升工作效率。

运维人员可以通过了解日志处理的新兴技术框架，更好地把握技术发展的趋势。在流处理上，目前比较火的框架有 Flink 。对于 Schema 比较固定的需求，可以使用诸如 Kylin、Clickhouse 这些框架。

日志易在上述发展方向上有什么规划

就集中化而言，日志易致力于做一个大平台的管理系统。现在很多公司的 ES 集群如果大于二三十个节点之后，再要管理就相当麻烦，一般情况下，会采取拆集群的方式。这样会造成日志管理的诸多不便。而在用单集群去集中化处理更大量的日志数据的研究方面，日志易已经做了很多性能优化工作。单集群管理日志，会大大减轻运维工作的复杂度。这一点在 CNUTCon 运维大会上日志易技术副总裁黎吾平会有比较具体的介绍。

另外一点是，日志易也会引入 AI 赋能。如性能指标的智能基线告警，日志的异常模式自动发现。

“日志处理”专题暂定议程：

1. 日志分析场景下的搜索引擎改进 黎吾平 / 日志易技术副总裁

2. 新思路打造移动端个案综合日志分析系统 周辉 / 美团点评资深移动架构师

3. QA 与 Ops 通力合作打造反脆弱的软件系统 林冰玉 / ThoughtWorks 高级软件质量分析师

4. 沪江网日志平台化之路 曹林华 / 沪江资深架构师

更多信息，点击“阅读原文“