论文摘要:传统监督学习通常假设训练数据类别标记恒定、特征信息充分、样本充 足。但很多现实的机器学习任务不满足这些假设条件,导致学习效果不尽人 意。为此,本文考虑通过引入增广信息 (Augmented Information) 进行学习。增 广信息包括传统静态学习中未考虑的额外信息以及动态学习过程中出现的新信 息。本文主要工作如下:

  1. 提出了一种训练集标记增广学习方法 GLOCAL。该方法利用标记关系对多 标记训练数据中部分缺失的标记进行恢复补全,但无需额外的先验知识来 指定标记关系矩阵,而是在优化过程中同时习得全局和局部标记关系。实 验验证了本文方法的有效性。
  2. 提出了分别用于静态、动态测试集标记增广学习的方法 DMNL 和 MuENL。 DMNL 通过最小化多示例包级损失和聚类正则化项,预测静态测试集中的多 个新标记;MuENL 通过特征和预测值训练新标记检测器并建立鲁棒模型, 以检测动态新增的标记并对其建模。实验验证了本文方法的有效性。
  3. 提出了一种多示例特征增广学习方法 AMIV-lss。 针对数据特征信息不足 的学习问题,将额外获取的带噪信息形式化为增广多示例视图 (AMIV) 作为 样本的特征增广。AMIV-lss 通过在两个异构视图之间建立公共隐藏语义 子空间,减少噪声影响,提升学习性能。实验验证了本文方法的有效性。
  4. 提出了一种多视图样本增广学习方法 OPMV。 OPMV 通过对每个样本优化 视图一致性约束下的组合目标函数,即可随着新增多视图数据高效更新模 型,并能够利用视图之间结构提升学习性能,而无需存储整个数据集,避 免从头进行训练。理论和实验验证了本文方法的有效性和高效性。
  5. 提出了同时进行标记/特征/样本增广学习的方法 EM3NL。EM3NL 基于多视 图多示例多标记深度卷积神经网络,利用额外文本描述作为图片的补充 (特 ii 征增广),能够检测新标记 (标记增广),并可根据动态增加的样本即时更新 模型 (样本增广)。实验验证了本文方法的有效性。

关键词: 机器学习;增广学习;增广信息;多标记学习;新标记学习;多视图 学习;单趟学习

作者介绍:朱越,他是南京大学计算机科学与技术学院五年级博士生,也是LAMDA集团的成员。在此之前,他于2011年获得了计算机科学与技术的理学学士学位,并于2013年在周志华教授的指导下获得了理学硕士学位。2015年3月至2015年9月,他拜访了香港科技大学James T. Kwok的小组。

成为VIP会员查看完整内容
9+
0+

相关内容

南京大学坐落于钟灵毓秀、虎踞龙蟠的金陵古都,是一所历史悠久、声誉卓著的百年名校。1949年,由国立中央大学更名为国立南京大学。南京大学是综合研究型大学,格物致知,广博易良,向有学科齐备的传统,涵盖了众多领域,现为中央直管、教育部直属的全国重点大学,是”985工程”和“211工程”重点建设的大学之一。

弱监督语义分割是一项具有挑战性的任务,因为没有提供像素级的标签信息供训练使用。最近的方法利用分类网络,通过选择具有强响应的区域来定位目标。然而,虽然这种响应映射提供了稀疏信息,但在自然图像中像素之间存在很强的两两关系,可以利用这种两两关系将稀疏映射传播到更密集的区域。本文提出了一种迭代算法来学习这种两两关系,它由两个分支组成,一个是学习每个像素的标签概率的一元分割网络,另一个是学习亲和矩阵并细化由一元网络生成的概率图的两两亲和网络。将两两网络的细化结果作为监督,对一元网络进行训练,通过迭代的方法逐步获得较好的分割效果。为了在不需要精确标注的情况下获得可靠的像素亲和力,我们还提出了可信区域的挖掘方法。我们证明了迭代训练这个框架等价于优化一个收敛到局部最小值的能量函数。在PASCAL VOC 2012和COCO数据集上的实验结果表明,所提出的算法在性能上优于目前最先进的方法。

成为VIP会员查看完整内容
11+
0+

1、 Adversarial Graph Embedding for Ensemble Clustering

作者:Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;

摘要:Ensemble Clustering通常通过图分区方法将基本分区集成到共识分区(consensus partition)中,但这种方法存在两个局限性: 1) 它忽略了重用原始特征; 2)获得具有可学习图表示的共识分区(consensus partition)仍未得到充分研究。在本文中,我们提出了一种新颖的对抗图自动编码器(AGAE)模型,将集成聚类结合到深度图嵌入过程中。具体地,采用图卷积网络作为概率编码器,将特征内容信息与共识图信息进行联合集成,并使用简单的内积层作为解码器,利用编码的潜变量(即嵌入表示)重建图。此外,我们还开发了一个对抗正则化器来指导具有自适应分区依赖先验的网络训练。通过对8个实际数据集的实验,证明了AGAE在几种先进的深度嵌入和集成聚类方法上的有效性。

网址:https://www.ijcai.org/proceedings/2019/0494.pdf

2、Attributed Graph Clustering via Adaptive Graph Convolution

作者:Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;

摘要:Attributed Graph聚类是一项具有挑战性的工作,它要求对图结构和节点属性进行联合建模。图卷积网络的研究进展表明,图卷积能够有效地将结构信息和内容信息结合起来,近年来基于图卷积的方法在一些实际属性网络上取得了良好的聚类性能。然而,对于图卷积如何影响聚类性能以及如何正确地使用它来优化不同图的性能,人们的了解有限。现有的方法本质上是利用固定低阶的图卷积,只考虑每个节点几跳内的邻居,没有充分利用节点关系,忽略了图的多样性。本文提出了一种自适应图卷积方法,利用高阶图卷积捕获全局聚类结构,并自适应地为不同的图选择合适的顺序。通过对基准数据集的理论分析和大量实验,验证了该方法的有效性。实验结果表明,该方法与现有的方法相比具有较好的优越性。

网址:https://www.zhuanzhi.ai/paper/bae18963457b08322d58e01c90e8e467

3、Dynamic Hypergraph Neural Networks

作者:Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;

摘要:近年来,基于图/超图(graph/hypergraph)的深度学习方法引起了研究者的广泛关注。这些深度学习方法以图/超图结构作为模型的先验知识。然而,隐藏的重要关系并没有直接表现在内在结构中。为了解决这个问题,我们提出了一个动态超图神经网络框架(DHGNN),它由两个模块的堆叠层组成:动态超图构造(DHG)和超图卷积(HGC)。考虑到最初构造的超图可能不适合表示数据,DHG模块在每一层上动态更新超图结构。然后引入超图卷积对超图结构中的高阶数据关系进行编码。HGC模块包括两个阶段:顶点卷积和超边界卷积,它们分别用于聚合顶点和超边界之间的特征。我们已经在标准数据集、Cora引文网络和微博数据集上评估了我们的方法。我们的方法优于最先进的方法。通过更多的实验验证了该方法对不同数据分布的有效性和鲁棒性。

网址:https://www.ijcai.org/proceedings/2019/0366.pdf

4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks

作者:Hogun Park and Jennifer Neville;

摘要:节点分类是关系机器学习中的一个重要问题。然而,在图边表示实体间交互的场景中(例如,随着时间的推移),大多数当前方法要么将交互信息汇总为链接权重,要么聚合链接以生成静态图。在本文中,我们提出了一种神经网络结构,它可以同时捕获时间和静态交互模式,我们称之为Temporal-Static-Graph-Net(TSGNet)。我们的主要观点是,利用静态邻居编码器(可以学习聚合邻居模式)和基于图神经网络的递归单元(可以捕获复杂的交互模式),可以提高节点分类的性能。在我们对节点分类任务的实验中,与最先进的方法相比,TSGNet取得了显著的进步——与四个真实网络和一个合成数据集中的最佳竞争模型相比,TSGNet的分类错误减少了24%,平均减少了10%。

网址:https://www.ijcai.org/proceedings/2019/0447.pdf

5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks

作者:Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;

摘要:事件在现实世界中实时发生,可以是涉及多个人和物体的计划和组织场合。社交媒体平台发布了大量包含公共事件和综合话题的文本消息。然而,由于文本中事件元素的异构性以及显式和隐式的社交网络结构,挖掘社会事件是一项具有挑战性的工作。本文设计了一个事件元模式来表征社会事件的语义关联,并构建了一个基于事件的异构信息网络(HIN),该网络融合了外部知识库中的信息,提出了一种基于对偶流行度图卷积网络(PP-GCN)的细粒度社会事件分类模型。我们提出了一种基于事件间社会事件相似度(KIES)的知识元路径实例,并建立了一个加权邻域矩阵作为PP-GCN模型的输入。通过对真实数据收集的综合实验,比较各种社会事件检测和聚类任务。实验结果表明,我们提出的框架优于其他可选的社会事件分类技术。

网址:https://www.zhuanzhi.ai/paper/65dbfd1c2b65d01b2db1b66a3b4efdb6

6、Graph Contextualized Self-Attention Network for Session-based Recommendation

作者:Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;

摘要:基于会话的推荐旨在预测用户基于匿名会话的下一步行动,是许多在线服务(比如电子商务,媒体流)中的关键任务。近年来,在不使用递归网络和卷积网络的情况下,自注意力网络(SAN)在各种序列建模任务中取得了显著的成功。然而,SAN缺乏存在于相邻商品上的本地依赖关系,并且限制了其学习序列中商品的上下文表示的能力。本文提出了一种利用图神经网络和自注意力机制的图上下文自注意力模型(GC-SAN),用于基于会话的推荐。在GC-SAN中,我们动态地为会话序列构造一个图结构,并通过图神经网络(GNN)捕获丰富的局部依赖关系。然后,每个会话通过应用自注意力机制学习长期依赖关系。最后,每个会话都表示为全局首选项和当前会话兴趣的线性组合。对两个真实数据集的大量实验表明,GC-SAN始终优于最先进的方法。

网址:https://www.ijcai.org/proceedings/2019/0547.pdf

7、Graph Convolutional Network Hashing for Cross-Modal Retrieval

作者:Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;

摘要:基于深度网络的跨模态检索近年来取得了显著的进展。然而,弥补模态差异,进一步提高检索精度仍然是一个关键的瓶颈。本文提出了一种图卷积哈希(GCH)方法,该方法通过关联图学习模态统一的二进制码。一个端到端深度体系结构由三个主要组件构成:语义编码模块、两个特征编码网络和一个图卷积网络(GCN)。我们设计了一个语义编码器作为教师模块来指导特征编码过程,即学生模块,用于语义信息的挖掘。此外,利用GCN研究数据点之间的内在相似性结构,有助于产生有区别的哈希码。在三个基准数据集上的大量实验表明,所提出的GCH方法优于最先进的方法。

网址:https://www.ijcai.org/proceedings/2019/0138.pdf

成为VIP会员查看完整内容
11+
0+

论文题目: Rule-Guided Compositional Representation Learning on Knowledge Graphs

摘要:

知识图的表示学习是将知识图中的实体和关系嵌入到低维连续向量空间中。早期的KG嵌入方法只关注编码在三元组中的结构化信息,由于KG的结构稀疏性,其性能受到限制。最近的一些尝试考虑路径信息来扩展KGs的结构,但是在获取路径表示的过程中缺乏可解释性。本文提出了一种新的基于规则和路径的联合嵌入(RPJE)方案,该方案充分利用了逻辑规则的可解释性和准确性、KG嵌入的泛化性以及路径的补充语义结构。具体来说,首先从KG中挖掘出不同长度(规则体中的关系数)的Horn子句形式的逻辑规则,并对其进行编码,用于表示学习。然后,利用长度2的规则来精确地组合路径,而使用长度1的规则来明确地创建关系之间的语义关联和约束关系嵌入。优化时还考虑了规则的置信度,保证了规则在表示学习中的可用性。大量的实验结果表明,RPJE在KG完成任务上的表现优于其他最先进的基线,这也证明了利用逻辑规则和路径来提高表示学习的准确性和可解释性的优越性。

论文作者:

张永飞:男,博士,副教授,博士生导师。2005年毕业于北京航空航天大学自动化学院,获学士学位,免推直博;2011年毕业于北京航空航天大学模式识别与智能系统专业,获博士学位。2007年至2009年在美国密苏里大学哥伦比亚分校电气与工程学院访问。2011年加入北航计算机学院数字媒体北京市重点实验室。科研工作:目前主要研究方向包括(1)(视觉)大数据智能分析处理;(2)高性能实时图像/视频编解码与可靠传输。主持国家自然科学基金项目面上项目、国家重点研发计划项目子课题、国家自然科学基金重点项目子课题、863项目子课题、国家重点实验室自主课题、企业合作预研项目等多项科研任务;作为技术骨干参与国家973计划、杰出青年基金、国家自然科学基金项目等多项国家级课题的科研工作等。

刘偲,计算机学院副教授、博导。 2012年博士毕业于中科院自动化所,2009-2014年于新加坡国立大学(NUS)任研究助理、博后。2016年在微软亚洲研究院(MSRA)任铸星计划研究员。2014-2018在中国科学院信工所任副研究员。其研究方向是跨模态多媒体智能分析,包括自然语言处理(NLP)和计算机视觉(CV)。共发表了CCF A类论文 40余篇,其研究成果发表于TPAMI、IJCV、TIP、CVPR、ICCV和ACM MM等。 Google Scholar引用4000+次。2017年入选中国科协青年人才托举工程,2017年获CCF-腾讯犀牛鸟专利奖。任2017中国计算机大会(CNCC)主论坛特邀讲者,2017 CCF青年精英大会“青年技术秀”讲者。获2017 ACM 中国新星提名奖,2017国际计算机学会人工智能专委会中国区(ACM SIGAI China) 新星奖,2018吴文俊人工智能优秀青年奖。 另外,她获CCF A类会议ACM MM 2012最佳技术演示奖,ACM MM 2013最佳论文奖。指导学生获得ChinaMM2018 最佳学生论文奖。带领学生多次获得国际、国内竞赛冠军: 2016年获CCF大数据与计算智能大赛(BDCI)综合特等奖,2017年获CVPR Look Into Person Challenge Human Parsing Track冠军,2019年获得ICCV Youtube-Video Object Segmentation 竞赛冠军。 主办了ECCV 2018和ICCV 2019‘Person in Context’workshop。担任中国图像图形学学会理事、副秘书长。任ICCV 2019、CVPR 2020 Area chair,AAAI 2019、IJCAI2019、IJCAI 2020 SPC。

成为VIP会员查看完整内容
29+
0+

题目:* Certified Adversarial Robustness with Additive Noise

摘要:

对抗性数据实例的存在引起了深度学习社区的高度重视;相对于原始数据,这些数据似乎受到了最小程度的干扰,但从深度学习算法得到的结果却非常不同。尽管已经考虑了开发防御模型的大量工作,但大多数此类模型都是启发式的,并且常常容易受到自适应攻击。人们对提供理论鲁棒性保证的防御方法进行了深入的研究,但是当存在大规模模型和数据时,大多数方法都无法获得非平凡的鲁棒性。为了解决这些限制,我们引入了一个可伸缩的框架,并为构造对抗性示例提供了输入操作规范的认证边界。我们建立了对抗扰动的鲁棒性与加性随机噪声之间的联系,并提出了一种能显著提高验证界的训练策略。我们对MNIST、CIFAR-10和ImageNet的评估表明,该方法可扩展到复杂的模型和大型数据集,同时对最先进的可证明防御方法具有竞争力的鲁棒性。

作者简介:

Changyou Chen是纽约州立大学布法罗分校计算机科学与工程系的助理教授,研究兴趣包括贝叶斯机器学习、深度学习和深度强化学习。目前感兴趣的是:大规模贝叶斯抽样和推理、深度生成模型,如VAE和GAN、用贝叶斯方法进行深度强化学习。

成为VIP会员查看完整内容
7+
0+

论文摘要:深度生成模型前景广阔,但是现有模型的表达能力、可解释性和判别性均有不足之处,亟待解决。具体而言,第一,现有深度生成模型中的网络结构和隐变量结构都非常简单,这限制了模型的表达能力;第二,现有深度生成模型以完全黑盒的方式拟合一个从噪音到高维数据的映射,其隐变量可解释性不足,生成图像的语义也难以控制;第三,无监督学习所提特征的判别能力远逊于前馈神经网络,而在深度生成模型中恰当地引入监督信号又是一个非平凡问题。本文面向不同的机器学习任务,设计匹配的模型和学习准则,开发高效的推理和学习算法,解决上述深度生成模型的关键性研究问题。本文的主要创新点如下:

  1. 面向无监督学习,受神经科学启发,提出一个带有记忆模块和注意力机制的 深度生成模型,提高了模型的表达能力和表现;提出对抗变分推理和学习算 法,无需对模型结构作特定假设,提高了一大类无向模型的推理和学习效果。
  2. 面向无监督学习和弱监督学习,基于贝叶斯网络和信息传播算法,提出一个 灵活普适的结构化深度生成模型框架,可以生成新的结构化数据并推理给定 数据中的结构化隐变量,增强了深度生成模型的表达能力和可解释性。
  3. 面向有监督学习和半监督学习,基于最大间隔学习准则,提出最大间隔深度 生成模型及其变体,极大增强了显式概率模型的判别能力,同时保留了其处 理数据中的噪音和缺失信息的能力。
  4. 面向半监督学习,受博弈理论启发,提出了三元生成对抗网络,首次提出半 监督生成对抗网络的最优均衡点并给出证明,显著提高了半监督分类准确率, 并首次在给定部分标注的情况下完成了语义可控的图像合成任务。

关键词: 深度生成模型;变分推理;对抗训练;图像合成;有限标注

作者介绍:李崇轩是清华大学计算机系2014级的博士研究生,他的博士生导师是张钹。他的研究兴趣主要是统计机器学习,特别是各种学习任务的深度生成模型,包括无监督、(半)监督和强化学习。

成为VIP会员查看完整内容
13+
0+

论文摘要:本文基于方差缩减、拒绝采样、访存优化等技术,研究了隐变量模型和深度表示学习两类模型的高效算法,并研究了这些算法在文本分析、生成式模型、图节 点分类等多个任务中的应用。具体地,本文创新点有:

  • 提出隐变量模型的方差缩减 EM 算法,并给出了其局部收敛速度和全局收敛性的理论结果。
  • 提出了缓存高效的 O(1) 时间复杂度主题模型采样算法,该算法较之前算法提速了 5-15 倍,且能扩展到数亿文档、数百万主题、上万 CPU 核的场景。
  • 提出了结构化主题模型的高效算法,具体包括层次化主题模型的部分坍缩吉 布斯采样算法,将该模型扩展到了比之前大5个数量级的数据集上;以及有监督主题模型的坐标下降、拒绝采样算法,较之前算法加速4倍。
  • 提出了总体匹配差异,一个两分布之间距离基于样本的估计;证明了总体匹配差异的一致性,并讨论了其在领域自适应、深度生成模型上的应用。
  • 提出了一个基于控制变量的图卷积网络高效随机训练算法,并给出了其收敛性证明和实验结果,较之前算法收敛速度快了7倍。

关键词:表示学习;隐变量模型;主题模型;采样算法;图卷积网络

作者介绍:陈健飞,他目前是清华大学计算机科学与技术系的博士研究生,他的博士生导师是朱军。他研究兴趣是大规模机器学习,尤其是可扩展的深层生成模型和深层主题模型。之前,他专注于扩展各种主题模型,包括LDA、CTM、DTM等。

成为VIP会员查看完整内容
6+
0+
Top