摘要

科学研究的一个基本目标是了解因果关系。然而,尽管因果关系在生命和社会科学中发挥着关键作用,但在自然语言处理(NLP)中却没有同等的重要性,后者传统上更重视预测任务。随着因果推理和语言处理融合的跨学科研究的兴起,这种区别正开始消失。然而,关于NLP中因果关系的研究仍然分散在各个领域,没有统一的定义、基准数据集和对剩余挑战的清晰表述。在这项综述中,我们巩固了跨学术领域的研究,并将其置于更广阔的NLP景观中。我们介绍了估计因果效应的统计挑战,包括文本作为结果、治疗或解决混淆的手段的设置。此外,我们还探讨了因果推理的潜在用途,以改善NLP模型的性能、鲁棒性、公平性和可解释性。因此,我们为计算语言学界提供了一个统一的因果推理概述。

引言

许多科学领域对将融入文本为数据越来越感兴趣(例如,Roberts et al., 2014; Pryzant et al., 2017; Zhang et al., 2020a)。自然语言处理(NLP)研究人员可能不熟悉这些领域的一个关键特性,是强调因果推理,通常用于评估策略干预。例如,在推荐一种新的药物治疗之前,临床医生想知道这种药物对疾病进展的因果关系。因果推理涉及到一个通过干预创造的反事实世界的问题:如果我们给病人用药,他们的疾病进展会如何?正如我们下面所解释的,在观察数据中,因果关系并不等同于服用药物的患者与其观察到的疾病进展之间的相关性。现在有大量关于使用传统(非文本)数据集进行有效推理的技术的文献(例如,Morgan and Winship, 2015),但将这些技术应用于自然语言数据提出了新的和基本的挑战。

相反,在经典的NLP应用中,目标只是做出准确的预测:任何统计相关性通常都被认为是可接受的,不管潜在的因果关系是什么。然而,随着NLP系统越来越多地部署在具有挑战性和高风险的场景中,我们不能依赖通常的假设,即训练和测试数据是相同分布的,我们可能不会满足于无法解释的黑箱预测器。对于这两个问题,因果关系提供了一条有希望的前进道路: 数据生成过程中因果结构的领域知识可以提示归纳偏差,导致更鲁棒的预测器,而预测器本身的因果视图可以提供关于其内部工作的新见解。

这篇调查论文的核心主张是,探究因果关系和NLP之间的联系,有可能推进社会科学和NLP研究者的目标。我们将因果关系和自然语言处理的交集分为两个不同的领域: 从文本中估计因果效应,以及使用因果形式主义使自然语言处理方法更可靠。我们将用两个例子来说明这种区别。

NLP帮助因果关系。文本数据的因果推理涉及几个不同于典型因果推理设置的挑战:文本是高维的,需要复杂的建模来衡量语义上有意义的因素,如主题,并需要仔细思考,以形式化因果问题对应的干预。从主题模型到上下文嵌入,自然语言处理在建模语言方面的发展为从文本中提取所需信息以估计因果效应提供了有前景的方法。然而,我们需要新的假设,以确保使用NLP方法导致有效的因果推理。我们将在第3节讨论从文本中估计因果效应的现有研究,并强调这些挑战和机遇。

因果关系可以帮助NLP。为了解决NLP方法带来的稳健性和可解释性挑战,我们需要新的标准来学习超越利用相关性的模型。例如,我们希望预测器对于我们对文本所做的某些更改是不变的,例如在保持ground truth标签不变的情况下更改格式。利用因果关系来发展新的准则,为建立可靠的、可解释的自然语言处理方法提供服务,这是相当有希望的。与文本因果推理的研究领域相比,因果关系和NLP研究的这一领域较少被理解,尽管最近的经验成功很好地推动了这一领域的研究。在第4节中,我们涵盖了现有的研究,并回顾了使用因果关系来改进自然语言处理的挑战和机遇。

该论文调研了文本数据在因果推理中的作用(Egami et al., 2018; Keith et al., 2020)。在本文中,我们采取了一个更广泛的视角,将因果关系和自然语言处理的交集分为两个截然不同的研究线,即估计因果效应和因果驱动的自然语言处理方法。在阅读了本文之后,我们设想读者将对以下内容有一个广泛的理解:

  • 使用文本数据和NLP方法所特有的统计和因果挑战;
  • 在评估文本效果和应用因果关系来
  • 改进NLP方法方面的开放问题。
成为VIP会员查看完整内容
0
35

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

深度神经网络一直在推动自然语言处理领域的发展,被认为是解决机器翻译、摘要和问答等复杂自然语言处理任务的事实建模方法。尽管深度神经网络的有效性得到了证实,但它们的不透明性是引起关注的主要原因。

在本教程中,我们将从两个角度介绍解释神经网络模型的细粒度组件的研究工作,一是内在分析,二是因果性分析。前者是一种方法来分析神经元关于一个理想的语言概念或任务。后者研究神经元和输入特征在解释模型决策中的作用。我们还将讨论解释方法和因果分析如何能够更好地解释模型预测。最后,我们将带您浏览各种工具包,这些工具包有助于细粒度解释和神经模型的原因分析。

https://2021.naacl.org/program/tutorials/#t2

成为VIP会员查看完整内容
0
24

传统的自然语言处理方法具有可解释性,这些自然语言处理方法包括基于规则的方法、决策树模型、隐马尔可夫模型、逻辑回归等,也被称为白盒技术。近年来,以语言嵌入作为特征的深度学习模型(黑盒技术)不断涌现,虽然这些方法在许多情况下显著提高了模型的性能,但在另一方面这些方法使模型变得难以解释。用户难以了解数据经过怎样的过程得到所期望的结果,进而产生许多问题,比如削弱了用户与系统之间的交互(如聊天机器人、推荐系统等)。机器学习社区对可解释性重要程度的认识日益增强,并创造了一个新兴的领域,称为可解释人工智能(XAI)。而关于可解释性有多种定义,大部分相关文章的论证也因此有所差异。这里我们关注的是可解释人工智能给用户提供关于模型如何得出结果的可解释,也称为结果解释问题(outcome explanation problem)[1]。在可解释人工智能中,解释可以帮助用户建立对基于NLP的人工智能系统的信任。本文依据前人的综述[2]讨论了可解释的分类方式,介绍了能够给出可解释的技术及其具体操作,并简要地描述了每一种技术及其代表性论文。

成为VIP会员查看完整内容
0
35

来自阿肯色大学zhang lu 博士介绍《因果发现和因果推理》的Slides。

因果分析的黄金法则是:没有任何因果论断可以纯粹通过统计方法建立起来。

成为VIP会员查看完整内容
0
55

题目:Graph Structure Estimation Neural Networks

作者:Ruijia Wang, Shuai Mou, Xiao Wang, Wanpeng Xiao, Qi Ju, Chuan Shi and Xing Xie

简介:尽管现有的GNN已成功应用于各种场景,但存在一个基本的假设:所观察到的图结构是正确的且符合GNN的性质。实际上,由于图通常抽取自复杂的交互系统,该假设总是被违反。原因之一是这些交互系统通常包含不确定性或错误。例如,在蛋白质相互作用图中,传统的实验误差是错误的主要来源。另一个原因是数据缺失是不可避免的。例如,Internet构建的图通过检查路由表或跟踪路由路径集合确定,而这两个表仅给出了边的子集。已经有研究表明不可靠的图结构可能会严重限制GNN的表示能力,其中一个典型的例子是GNN的性能会在同配性(即同一社区内的节点倾向于相互连接)差的图上大大降低。简而言之,在实际的图中普遍存在缺失、无意义甚至错误的边,这导致其与GNN的性质不匹配,并对结果的准确性或正确性产生影响。因此,迫切需要探索适宜于GNN的图结构。

然而,有效学习适合于GNN的图结构在技术上具有挑战性。我们认为,需要解决两个障碍。(1)应考虑图生成机制。网络科学的很多文献中已经证明图的生成可能受某些基本原则的约束,如随机块模型模型。考虑这些原则,可以从根本上驱使学得的图保持规则的全局结构,并对实际观测中的噪声更鲁棒。不幸的是,大多数当前方法对每条边进行参数化,没有考虑全局结构和图的基础生成机制,因此学得的图对噪声和稀疏性的容忍度较低。(2)应该利用多方面信息以减少偏差。从一个信息源学习图结构不可避免地会导致偏差和不确定性。合理的假设是如果一条边在多次测量中存在,则边存在的置信度会更大。因此,一个可靠的图结构应该考虑全面的信息,尽管要获得多视图的信息并描述它们与GNN的关系是很复杂的。现有的方法主要利用特征相似性,从而使学得的图易受单一视图偏差的影响。

为了解决上述问题,在本文中我们提出了图结构估计神经网络(GEN),通过估计适宜于GNN的图结构来提高节点分类性能。我们首先分析GNN的性质以匹配适当的图生成机制。GNN作为低通滤波器,平滑邻域以使相邻节点表示相似,适用于具有社区结构的图。因此,我们提出结构模型约束图生成过程,假设图是从随机块模型(SBM)中产生的。此外,除观察到的图结构和节点特征外,我们还创造性地利用多阶邻域信息来规避偏差,并提出观测模型将上述多视图信息作为最佳图结构的观测共同建模。为了估计最佳图结构,我们在GNN训练期间构造观测集合,并基于结构和观测模型应用贝叶斯推断来计算图结构的后验分布。最后,估计的图结构和GNN的参数通过精心设计的迭代优化实现彼此增强。

http://www.shichuan.org/doc/103.pdf

成为VIP会员查看完整内容
0
30

近年来,机器学习取得了显著进展,提供了一些新功能,比如创建复杂的、可计算的文本和图像表示。这些功能催生了新产品,如基于图像内容的图像搜索、多种语言之间的自动翻译,甚至是真实图像和声音的合成。同时,机器学习已经在企业中被广泛采用,用于经典的用例(例如,预测客户流失、贷款违约和制造设备故障)。

在机器学习取得成功的地方,它是非常成功的。

在许多情况下,这种成功可以归因于对大量训练数据的监督学习(结合大量计算)。总的来说,有监督的学习系统擅长于一项任务:预测。当目标是预测一个结果,并且我们有很多这个结果的例子,以及与它相关的特征时,我们可能会转向监督学习。

随着机器学习的普及,它在业务流程中的影响范围已经从狭窄的预测扩展到决策制定。机器学习系统的结果经常被用来设定信用限额,预测制造设备故障,以及管理我们的各种新闻推送。当个人和企业试图从这些复杂和非线性系统提供的信息中学习时,更多(和更好)的可解释性方法已经被开发出来,这是非常重要的。

然而,仅仅基于预测的推理有一些基本的限制。例如,如果银行提高客户的信用额度会发生什么?这些问题不能用建立在先前观察到的数据上的相关模型来回答,因为它们涉及到客户选择的可能变化,作为对信用限额变化的反应。在很多情况下,我们的决策过程的结果是一种干预——一种改变世界的行动。正如我们将在本报告中展示的,纯粹相关的预测系统不具备在这种干预下进行推理的能力,因此容易产生偏差。对于干预下的数据决策,我们需要因果关系。

即使对于纯粹的预测系统(这是监督学习的强项),应用一些因果思维也会带来好处。根据因果关系的定义,它们是不变的,这意味着它们在不同的情况和环境中都是正确的。对于机器学习系统来说,这是一个非常理想的特性,在机器学习系统中,我们经常根据我们在训练中没有看到的数据进行预测;我们需要这些系统具有适应性和健壮性。

因果推理和机器学习的交集是一个迅速扩展的研究领域。它已经产生了可供主流采用的功能——这些功能可以帮助我们构建更健壮、可靠和公平的机器学习系统。

本书介绍了因果推理,因为它涉及很多数据科学和机器学习工作。我们引入因果图,着重于消除理解的概念障碍。然后我们利用这个理解来探索关于不变预测的最新想法,它给高维问题带来了因果图的一些好处。通过附带的原型,我们展示了即使是经典的机器学习问题,如图像分类,也可以从因果推理工具中受益。

成为VIP会员查看完整内容
0
141

因果推理是解释性分析的强大建模工具,它可使当前的机器学习变得可解释。如何将因果推理与机器学习相结合,开发可解释人工智能(XAI)算法,是迈向人工智能2.0的关键步骤之一。为了将因果推理的知识带给机器学习和人工智能领域的学者,我们邀请从事因果推理的研究人员,从因果推理的不同方面撰写了本综述。本综述包括以下几个部分:况琨博士的“平均因果效应评估——简要回顾与展望”,李廉教授的“反事实推理的归因问题”,耿直教授的“Yule-Simpson悖论和替代指标悖论”,徐雷教授的“因果发现CPT方法”,张坤教授的“从观测数据中发现因果关系”,廖备水和黄华新教授的“形式论辩在因果推理和解释中的作用”,丁鹏教授的“复杂实验中的因果推断”,苗旺教授的“观察性研究中的工具变量和阴性对照方法”,蒋智超博士的“有干扰下的因果推断”。

http://www.engineering.org.cn/ch/10.1016/j.eng.2019.08.016

成为VIP会员查看完整内容
0
53

近年来,机器学习发展迅速,尤其是深度学习在图像、声音、自然语言处理等领域取得卓越成效.机器学习算法的表示能力大幅度提高,但是伴随着模型复杂度的增加,机器学习算法的可解释性越差,至今,机器学习的可解释性依旧是个难题.通过算法训练出的模型被看作成黑盒子,严重阻碍了机器学习在某些特定领域的使用,譬如医学、金融等领域.目前针对机器学习的可解释性综述性的工作极少,因此,将现有的可解释方法进行归类描述和分析比较,一方面对可解释性的定义、度量进行阐述,另一方面针对可解释对象的不同,从模型的解释、预测结果的解释和模仿者模型的解释3个方面,总结和分析各种机器学习可解释技术,并讨论了机器学习可解释方法面临的挑战和机遇以及未来的可能发展方向。

成为VIP会员查看完整内容
0
87

摘要:这项工作考虑了这样一个问题: 获取大量数据的便利程度如何影响我们学习因果效应和关系的能力。在大数据时代,学习因果关系与传统因果关系有哪些不同或相同之处?为了回答这个问题,这项综述提供了一个在因果关系和机器学习之间联系的全面和结构化的回顾。

https://www.zhuanzhi.ai/paper/6ad7902913e98bd48540a5596b978edc

因果性是结果与引起结果的原因之间的一种一般性关系。它很难定义,而且我们通常只凭直觉知道原因和结果。因为下雨,街道是湿的。因为这个学生不学习,所以他考试考得很差。因为烤箱是热的,奶酪在披萨上融化了。当用数据学习因果关系时,我们需要意识到统计关联和因果之间的区别。例如,当天气炎热时,一家冰淇淋店的老板可能会注意到高昂的电费和较高的销售额。因此,她会观察到电费和销售数字之间有很强的联系,但电费并不是导致高销售额的原因——让商店的灯彻夜开着不会对销售产生影响。在这种情况下,外部温度是高电费和高销售额的共同原因,我们说它是一个混乱的因果关系。

学习因果关系的能力被认为是人类水平智能的重要组成部分,可以作为AI的基础(Pearl, 2018)。从历史上看,学习因果关系已经在包括教育在内的许多高影响领域被研究过(LaLonde, 1986;Dehejia和Wahba, 1999年;Heckerman et al ., 2006;希尔,2011),医学科学(马尼和库珀,2000;经济学(Imbens, 2004)、流行病学(Hernan et al., 2000;Robins等人,2000年;、气象学(Ebert-Uphoff和Deng, 2012)和环境卫生(Li et al., 2014)。受限于数据量,坚实的先验因果知识是学习因果关系所必需的。研究人员对通过精心设计的实验收集的数据进行研究,坚实的先验因果知识至关重要(Heckerman et al., 2006)。以随机对照试验的原型为例(Cook et al., 2002),为了研究一种药物的疗效,患者将被随机分配服用或不服用该药物,这将保证平均而言,治疗组和未治疗组(对照组)在所有相关方面是等同的,排除任何其他因素的影响。然后,药物对某些健康结果的影响——比如,偏头痛的持续时间——可以通过比较两组的平均结果来衡量。

这个综述的目的是考虑在现在的大数据时代学习因果关系的新可能性和挑战,这里指的是海量数据集的可用性。举个例子,考虑到无法测量的混杂因素的可能性——可能会被减轻,因为可以测量更多的特征。因此,一方面,研究人员有可能在大数据的帮助下回答有趣的因果问题。例如,Yelp的正面评论是促使顾客去餐馆,还是仅仅反映了受欢迎程度而没有影响?这个因果问题可以通过Yelp维护的庞大数据库中的数据来解决。另一方面,用大数据来回答因果问题,会带来一些独特的新问题。例如,尽管公共数据库或通过web爬行收集的数据或应用程序编程接口(api)是空前巨大的,我们有很少的直觉对什么类型的偏差数据集可以遭受——数据更丰富,也更神秘,因此,负责任地更难模型。与此同时,大数据给其他学习任务(如预测)带来的基本统计困难,使得因果调查更具挑战性。也许这方面最显著的例子是现代数据的高维性(Li et al., 2017a),比如文本数据(Imai et al., 2013)。

成为VIP会员查看完整内容
0
96
小贴士
相关VIP内容
专知会员服务
35+阅读 · 5月30日
专知会员服务
55+阅读 · 4月5日
专知会员服务
30+阅读 · 3月29日
专知会员服务
53+阅读 · 3月20日
专知会员服务
87+阅读 · 2020年8月27日
相关论文
Daniel N. Nissani
0+阅读 · 9月20日
Simeng Sun,Kalpesh Krishna,Andrew Mattarella-Micke,Mohit Iyyer
0+阅读 · 9月19日
Amir Feder,Katherine A. Keith,Emaad Manzoor,Reid Pryzant,Dhanya Sridhar,Zach Wood-Doughty,Jacob Eisenstein,Justin Grimmer,Roi Reichart,Margaret E. Roberts,Brandon M. Stewart,Victor Veitch,Diyi Yang
14+阅读 · 9月2日
Bayesian Attention Belief Networks
Shujian Zhang,Xinjie Fan,Bo Chen,Mingyuan Zhou
5+阅读 · 6月9日
Pavel Izmailov,Sharad Vikram,Matthew D. Hoffman,Andrew Gordon Wilson
6+阅读 · 4月29日
Sander Beckers
4+阅读 · 2020年12月10日
Dan Hendrycks,Xiaoyuan Liu,Eric Wallace,Adam Dziedzic,Rishabh Krishnan,Dawn Song
5+阅读 · 2020年4月13日
Hiroaki Hayashi,Zecong Hu,Chenyan Xiong,Graham Neubig
19+阅读 · 2019年8月21日
Wanjun Zhong,Duyu Tang,Nan Duan,Ming Zhou,Jiahai Wang,Jian Yin
5+阅读 · 2018年10月5日
Top