动态 | PAKDD 2019 AutoML 挑战赛圆满落幕，中国队伍包揽前三

2019 年 4 月 22 日 AI科技评论

AI 科技评论按，近日，亚太地区数据挖掘领域的顶级国际会议——第 23 届亚太地区知识发现与数据挖掘国际会议（Pacific Asia Knowledge Discovery and Data Mining，PAKDD）在澳门成功举行。本次大会，南京大学人工智能学院院长周志华首先做了开幕致辞，第四范式首席科学家杨强教授、普渡大学副教授 Jennifer Neville、罗格斯大学大学终身教授熊辉、罗维拉·维尔吉利大学名誉教授 Josep Domingo-Ferrer 等知名科学家先后在现场分享了对于知识挖掘领域最新的思考与技术进展。

除此之外，大会另一个重要看点是由第四范式、ChaLearn、微软、亚马逊联合举办的「PAKDD 2019 AutoML Challenge」挑战赛，现场公布了大赛最终成绩并举行了颁奖仪式，深兰科技 DeepBlueAI 、微软亚洲研究院、北航组成的 ML Intelligence 以及清华大学的 Meta_Learners 三只来自中国的队伍包揽了本次比赛前三名，充分展示国内在 AutoML 研究领域的实力。

据悉，本次 AutoML 大赛共吸引了全球 127 支队伍参加，提交超 550 个竞赛方案，最终有 31 支队伍进入决赛进行最终的比拼。比赛共分为 Feedback phase、Test phase、AutoML phase 三个阶段，最终成绩按照 AutoML phase 的 AUC 结果进行评估排序得出，前三名成绩排序在 Feedback phase、AutoML phase 两个阶段均一致。

本次比赛题目是贴近实际应用的终身自动机器学习（AutoML for Lifelong Machine Learning），旨在解决实际应用过程中，数据分布不断变化的动态环境给自动化机器学习带来的难题。在设计能够自主实现终身机器学习的方案中，需兼顾计算效率、多种特征类型、概念漂移（Concept Drift）、终身机器学习设定等诸多挑战。

以本次大赛冠军 DeepBlueAI 方案为例，囊括了自动特征工程、自动特征选择、自动模型调参、自动模型融合等步骤的 AutoML 框架，并对数据类别不均衡、概念漂移、时间空间等方面进行了针对性的处理和优化，同时也有针对性的对概念漂移问题进行处理，并且利用了多种策略对运行时间和运行内存进行了有效的控制，以确保解决方案能在规定时间和有限内存下完成整个流程，并最终在挑战赛中脱颖而出。

除了 DeepBlueAI 外，ML Intelligence 本次参赛方案也提供另一类的方法，我们都知道 AutoML 系统从每一批数据的输入到每一批的输出，实现端到端的自动化，完全不需要人参与，其中核心是自动算法，包括自动配置，自动调参，自动特征衍生和自动筛选等。本次竞赛方案中，ML Intelligence 为了能适应一个长时学习和在线学习的场景，能够适应特征或者样本的概念漂移，提出了一种基于模型的 (model based) 的方法，这与传统的基于分布 (distribution based) 的概念漂移检测方法不同，不需要用人的经验来做一些分布指标就能够实现漂移特征的自动检测。实际操作是训练一个特别简单的 GBDT 模型，来区分两个时间窗的样本，通过特征重要性排序来排序分布偏移的大小。然后为了适应场景，对高阶衍生特征和原始重要特征做了不同的处理。

另外，Meta_Learners 团队本次设计了一套基于梯度提升树（Gradient Boosting Tree）、概念迁移自适应的自动机器学习（AutoML）系统。在传统 AutoML 框架基础上，结合本次比赛的特点进行了针对性的设计。首先，在特征工程方面针对类别特征高基数、长尾分布的特点采用了频数编码；并设计了自动特征工程模块，可以针对不同数据集的特点，高效地提取出有助于提升模型预测效果的多种特征组合；在概念迁移自适应方面，采用自适应的流式协同编码技术，提高数据集的表征一致性，从而提升了预测性能。在超参数调节上，团队设计了一种结合了先验知识和自动搜索的层次化自动调参策略，从而保障整个系统运行的效率和鲁棒性。

尽管本次大赛周期覆盖了中国春节假期以及学生的期末放假时期，但是竞争非常激烈；同时，由于 NeurIPS 2018 的冠军队伍也公布了他们的方案，我们也看到这一届的前三效果都远远超出了 NeurIPS 2018 年的冠军解决方案效果；在整体方案上，这次前三在时序特征处理、不平衡数据处理以及对概念漂移问题的处理相比 NeurIPS AutoML 的解决方案都有了非常多的创新与进步。

近年来，AutoML 学术研究和应用逐渐从前沿研究迈入了行业主流发展的阶段，越来越多的研究机构和企业都纷纷开始 AutoML 的研究工作。PAKDD 2019 AutoML 挑战赛是今年 AutoML 的首场挑战赛，接下来会迎来今年 KDD CUP 2019 AutoML 和 NeurIPS 2019 AutoDL 两场 AutoML 年度大赛，其中 KDD CUP 是首次举办 AutoML 挑战赛，不仅开创了该项赛事 22 年历史的先河，更印证了 AutoML 进入学术研究和行业应用的上升期。

值得欣慰的是，AutoML 在国内的发展一直处于领先水平。本次 PAKDD 2019 AutoML 竞赛前三名被中国队包揽，充分展示了中国在 AutoML 领域的实力。