机器学习(ML)模型现在经常应用于从刑事司法到医疗保健的各个领域。随着这种新发现的普遍性,ML已经超越了学术界,发展成为一门工程学科。为此,解释工具设计来帮助数据科学家和机器学习实践者更好地理解ML模型的工作方式。然而,很少有人评估这些工具在多大程度上实现了这一目标。我们研究数据科学家对两种现有的可解释性工具的使用,即GAMs的解释性ml实现和SHAP Python包。我们对数据科学家进行了背景调查(N=11)和调查(N=197),以观察他们如何使用可解释性工具来发现在构建和评估ML模型时出现的常见问题。我们的结果表明,数据科学家过度信任和滥用解释工具。此外,很少有参与者能够准确地描述这些工具的可视化输出。我们为数据科学家的可解释工具心智模型强调定性主题。我们总结了对研究人员和工具设计者的启示,并将我们的发现置于社会科学文献的背景中。

成为VIP会员查看完整内容
100

相关内容

广义上的可解释性指在我们需要了解或解决一件事情的时候,我们可以获得我们所需要的足够的可以理解的信息,也就是说一个人能够持续预测模型结果的程度。按照可解释性方法进行的过程进行划分的话,大概可以划分为三个大类: 在建模之前的可解释性方法,建立本身具备可解释性的模型,在建模之后使用可解释性方法对模型作出解释。
【哈佛大学】机器学习的黑盒解释性,52页ppt
专知会员服务
165+阅读 · 2020年5月27日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
126+阅读 · 2020年5月14日
【WWW2020-微软】理解用户行为用于文档推荐
专知会员服务
34+阅读 · 2020年4月5日
《可解释的机器学习-interpretable-ml》238页pdf
专知会员服务
193+阅读 · 2020年2月24日
干货 | 可解释的机器学习
AI科技评论
18+阅读 · 2019年7月3日
可解释AI(XAI)工具集—DrWhy
专知
25+阅读 · 2019年6月4日
机器学习可解释性工具箱XAI
专知
11+阅读 · 2019年2月8日
【学界】机器学习模型的“可解释性”到底有多重要?
GAN生成式对抗网络
12+阅读 · 2018年3月3日
TResNet: High Performance GPU-Dedicated Architecture
Arxiv
7+阅读 · 2020年3月30日
Arxiv
7+阅读 · 2018年1月31日
Arxiv
4+阅读 · 2017年11月14日
VIP会员
微信扫码咨询专知VIP会员