全国首发！周志华教授领衔撰写《大数据分析研究进展》

会员服务 ·

全国首发！周志华教授领衔撰写《大数据分析研究进展》

2022 年 11 月 4 日 新智元

新智元报道

编辑：好困

【新智元导读】最近，周志华教授和业内多位不同领域的知名学者共同提出了「反绎学习」（abductive learning）范式、流数据在线学习动态遗憾率的最优下界等多个原创理论。并围绕可塑模型学习、可视数据表达和可用知识处理3个关键科学问题，详细论述了在大数据分析方面取得的最新研究进展。

大数据是推动创新型国家建设的重要战略资源，大数据对经济发展、社会治理、国家管理、人民生活都产生了重大影响。

然而，目前出版的关于大数据分析的图书大都是基于科普和基础理论的论述，没有涉及核心技术方法和应用平台。

由人工智能重要顶尖级学者周志华教授领衔，张敏灵、巫英才、瞿裕忠、姜育刚等业内知名学者共同编写《大数据分析研究进展》。

该书依托国家重点研发计划项目「大数据分析的基础理论和技术方法」的研究成果，论述作者在大数据分析的基础理论与技术方法方面的部分代表工作和取得的最新研究进展。

主要包括：大数据机器学习理论与方法，大数据可视分析理论与方法，多源不确定数据挖掘方法与技术，自动深层化知识处理方法与技术，大数据分析平台、标准与应用示范等方面内容。

秉承科学严谨、专业权威的图书编写理念，不同领域的内容均由该领域知名学者撰写。该书为机器学习、可视分析、知识处理、数据挖掘及相关领域的研究人员提供有益参考。

大数据分析

首先给出大数据分析框架（图1），从机器学习、可视分析、知识处理、数据挖掘四个关键内容详细论述大数据分析的基础理论与技术方法。

其中，机器学习和可视分析协同支撑，为数据挖掘和知识处理提供必要的支撑技术；数据挖掘和知识处理互促利用。四个方面的技术结合起来，共同加以应用，得到数据价值。

图1 大数据分析框架

作者在对整个大数据分析框架梳理后，经过长时间的思考，凝练出三个关键的科学问题：可塑模型学习、可视数据表达和可用知识处理。针对这三个科学问题，梳理出大数据分析研究思路和研究内容（图2）。

首先，整个任务包含数据层、知识层和价值层。数据层主要通过机器学习和可视分析支撑原始数据到知识信息的有效凝练，随后知识层通过利用知识处理和数据挖掘来实现领域知识到核心价值的有效转化。从环境、模型、任务三者的角度，大数据环境提供了一个内因驱动，现实任务提供了一个外需牵引，内外相结合确定最终需要得到的分析模型。

图2 大数据研究思路

本书围绕上述科学问题详细论述在大数据分析的基础理论与技术方法取得的最新研究进展：

在范式方面 ，提出「反绎学习」（abductive learning）范式（图3），突破了「重推理轻学习」或「轻推理重学习」既有框架，使机器学习与知识推理能够循环互促，其性能优于深度神经网络，甚至超过了人类平均能力。

图3 反绎学习示意图

在理论方面 ，详细阐述了流数据在线学习动态遗憾率的最优下界，建立了面向增强现实可视表达的虚实融合关系理论，发展了面向非独立同分布噪声的自适应误差建模理论、计算资源受约束条件下具备常数级迭代复杂度和线性收敛的随机优化理论。

在方法方面 ，详细阐述了满足最优遗憾下界的在线学习方法、促进大数据沉浸式展现的渲染绘制与直观可视设计方法（图4）、基于可视分析的可解释机器学习，介绍了适用于数据低层表示的在线自适应多度量模型融合方法（图5）、面向不确定标记信息的主动迁移模型、面向多模态的自动知识表征学习方法（图6）、基于图谱存在性约束的复杂问题求解方法。

图4 沉浸式城市数据可视化模型下VR 与MR 环境

图5 自适应局部度量提升（LIFT）框架示意图

图6 多模态实体对齐（MMEA）模型

在平台系统方面 ，介绍基于创新的大数据分析理论、方法与技术，助力科学技术研究的开源系统与工具，面向求解实际问题的标准化大数据分析平台以及相关的基准测试，形成了《信息技术大数据大数据系统基本要求》（GB/T 38664－2020）多项国家标准；针对特定行业与社会治理，构建效力社会经济发展的应用示范系统，具体给出两项应用示范：智慧法院深度知识挖掘及精准分案（图7）；面向公共安全的视频目标关联与态势感知（图8）。

图7 基于反绎学习的盗窃案件预测模型框架

图8 基于背景分割的车辆再识别算法流程

作者简介

周志华 ，南京大学计算机科学与技术系主任、南京大学计算机软件新技术国家重点实验室常务副主任、南京大学人工智能学院院长、机器学习与数据挖掘研究所（LAMDA）所长，校学术委员会委员。

周志华是 ACM、AAAI、AAAS、IEEE 和 IAPR Fellow，研究领域：人工智能、机器学习、数据挖掘。

曾获国家自然科学二等奖2项、中国计算机学会「王选奖」等。AI领域国际一流期刊和顶级会议发表论文200余篇，被引用4万余次，蝉联爱思唯尔高被引学者。

张敏灵 ，东南大学教授，国家杰青。研究领域：机器学习、数据挖掘。

中国人工智能学会机器学习专委会秘书长、中国计算机学会人工智能与模式识别专委会常务委员、江苏省人工智能学会副理事长、《中国科学：信息科学》青年编委等。获CCF-IEEE CS青年科学家奖（2016）等。

巫英才 ，浙江大学、国家级高层次人才，计算机辅助设计与图形学国家重点实验室长聘教授。研究领域：信息可视化、可视分析和人机交互。

分别在2009和2014年的可视化顶级权威会议(IEEE VIS)上获得最佳论文提名。主持科技部重点研发计划子课题、国家自然科学基金项目和浙江省杰出青年科学项目等科研项目。

瞿裕忠 ，南京大学计算机软件新技术国家重点实验室教授。中国计算机学会系统软件专业委员会委员和软件工程专业委员会委员。研究领域：万维网科学(Web Science)、语义万维网（Semantic Web）、计算机软件方法与技术。

瞿裕忠教授领衔做的语义网搜索系统被列为WCCC推荐的三个语义网搜索系统之一。多次担任国际语义万维网会议（ISWC）、欧洲语义万维网会议或扩展语义万维网会议（ESWC），以及亚洲语义万维网会议（ASWC）等会议的程序委员，担任中国语义万维网研讨会（CSWS2009）联合主席。获「新世纪优秀人才」、江苏省「六大人才高峰」和江苏省科技进步二等奖。