题目

对抗机器学习工业视角,Adversarial Machine Learning - Industry Perspectives

关键字

对抗机器学习,机器学习系统保护,机器学习调查,机器学习独特思考,人工智能

简介

根据对28个组织的采访,我们发现行业从业人员没有配备战术,战略工具来保护,检测和响应对其机器学习(ML)系统的攻击。 我们利用访谈中的见解,并列举了从传统软件安全性开发的角度来看在保护机器学习系统方面存在的差距。 我们从两个角色的角度撰写本文:开发人员/机器学习工程师和安全事件响应者,他们负责在设计,开发和部署机器学习系统时保护机器学习系统。 本文的目的是吸引研究人员修改和修正对抗性ML时代的工业级软件的安全开发生命周期。

作者

Ram Shankar Siva Kumar, Magnus Nyström, John Lambert, Andrew Marshall, Mario Goertzel, Andi Comissoneru, Matt Swann, Sharon Xia

成为VIP会员查看完整内容
0
8

相关内容

对抗机器学习(Adverserial Machine Learning)作为机器学习研究中的安全细分方向,在一定程度上保证模型的安全性

Deep learning models on graphs have achieved remarkable performance in various graph analysis tasks, e.g., node classification, link prediction and graph clustering. However, they expose uncertainty and unreliability against the well-designed inputs, i.e., adversarial examples. Accordingly, various studies have emerged for both attack and defense addressed in different graph analysis tasks, leading to the arms race in graph adversarial learning. For instance, the attacker has poisoning and evasion attack, and the defense group correspondingly has preprocessing- and adversarial- based methods. Despite the booming works, there still lacks a unified problem definition and a comprehensive review. To bridge this gap, we investigate and summarize the existing works on graph adversarial learning tasks systemically. Specifically, we survey and unify the existing works w.r.t. attack and defense in graph analysis tasks, and give proper definitions and taxonomies at the same time. Besides, we emphasize the importance of related evaluation metrics, and investigate and summarize them comprehensively. Hopefully, our works can serve as a reference for the relevant researchers, thus providing assistance for their studies. More details of our works are available at https://github.com/gitgiter/Graph-Adversarial-Learning.

0
33
下载
预览

基于对28个组织的采访,我们发现行业从业者没有配备战术和战略工具来保护、检测和响应对他们的机器学习(ML)系统的攻击。我们利用了访谈中的见解,并列举了在传统软件安全开发环境下保护机器学习系统的视角上的差距。我们从两个角色的角度撰写本文:开发人员/ML工程师和安全事件响应人员,他们的任务是在设计、开发和部署ML系统时保护ML系统。本文的研究目的是为了使研究者们能够在激烈竞争的ML时代对工业级软件的安全开发生命周期进行修订和修正。

成为VIP会员查看完整内容
0
11

简介:

近年来,由于机器学习(ML)/深度学习(DL)技术使用多维医学图像,在从一维心脏信号的心脏骤停的预测到计算机辅助诊断(CADx)的各种医疗保健应用中的卓越性能,见证了机器学习(ML)/深度学习(DL)技术的广泛采用。尽管ML / DL的性能令人印象深刻,但对于ML / DL在医疗机构中的健壮性仍然存有疑虑(由于涉及众多安全性和隐私问题,传统上认为ML / DL的挑战性很大),尤其是鉴于最近的研究结果表明ML / DL容易受到对抗性攻击。在本文中,我们概述了医疗保健中各个应用领域,这些领域从安全性和隐私性的角度利用了这些技术,并提出了相关的挑战。此外,我们提出了潜在的方法来确保医疗保健应用程序的安全和隐私保护机器学习。最后,我们提供了有关当前研究挑战的见解以及未来研究的有希望的方向。

内容大纲:

成为VIP会员查看完整内容
0
32

主题: Agile Machine Learning

摘要: 凝聚人才,打造一支伟大的应用型机器学习团队,是一项不小的壮举。由于开发人员和数据科学家都在各自领域贡献了专业知识,单靠通信就可能是一个挑战。敏捷机器学习教你如何通过敏捷过程交付优秀的数据产品,并通过例子学习如何在生产环境中组织和管理一个快速发展的团队,该团队面临着大规模解决新数据问题的挑战。作者的方法模拟了敏捷宣言中描述的开创性的工程原理。这本书提供了进一步的上下文,并将最初的原则与交付数据产品的系统的需求进行了对比。

作者简介: Eric Carter,Eric Carter曾在微软的Bing和Cortana团队担任合作伙伴团队工程经理。在这些角色中,他致力于围绕产品和评论、业务列表、电子邮件和日历的搜索功能。他目前在微软白板产品组上工作。

成为VIP会员查看完整内容
0
14

题目: Quantum Adversarial Machine Learning

摘要: 对抗性机器学习是一个新兴的研究领域,主要研究机器学习方法在对抗性环境中的脆弱性,并开发相应的技术,使学习对对抗性操作具有鲁棒性。它在各种机器学习应用中起着至关重要的作用,近年来引起了不同社区的极大关注。本文探讨了量子机器学习中不同的对抗情境。我们发现,与基于经典神经网络的传统分类器类似,量子学习系统同样容易受到精心设计的对抗性示例的攻击,而与输入数据是经典的还是量子的无关。特别是,我们发现,通过对原始合法样本添加不可察觉的扰动而获得的对抗性示例,可以最终欺骗达到接近最新精度的量子分类器。这在不同场景下的量子对抗学习中得到了明确的证明,包括对现实生活中的图像(如数据集MNIST中的手写数字图像)进行分类,对物质的学习阶段(如铁磁/顺磁有序和对称保护拓扑相)进行分类,以及对量子数据进行分类。此外,我们还指出,根据手头的对抗性例子的信息,可以设计出实用的防御策略来对抗多种不同的攻击。我们的研究结果揭示了量子机器学习系统对各种扰动的显著脆弱性,这不仅从理论上揭示了机器学习与量子物理学之间的联系,而且为基于近期和未来量子技术的量子分类器的实际应用提供了有价值的指导。

成为VIP会员查看完整内容
0
19

教程题目:Adversarial Machine Learning

教程简介

近年来,机器学习在广泛的行业和应用领域得到了显著的普及。机器学习技术的许多应用本质上是对抗性的,因为其目标是将“坏的”实例与“好的”实例区分开来。事实上,对抗性的使用远远超出了这个简单的分类示例:对恶意软件的法医分析,包括集群、异常检测,甚至自动驾驶汽车上的视觉系统,都可能受到攻击。针对这些问题,出现了一个关于对抗性机器学习的新兴文献,它涵盖了对机器学习算法漏洞的分析,以及产生更健壮学习的算法技术。

本教程将从网络安全和机器学习研究领域中广泛调查这些问题和技术。特别考虑了对抗性分类器规避(攻击者改变行为以避免被检测到)和训练数据本身已损坏的问题。还讨论了逃避攻击和中毒攻击,首先讨论了分类器,然后讨论了其他学习范例和相关的防御技术。然后,我们考虑用于攻击和防御神经网络的专门技术,特别是专注于深度学习技术及其对逆向构建实例的脆弱性。

组织者:

Bo Li是伊利诺伊大学香槟分校计算机科学系的助理教授。她的研究兴趣在于对抗性的深度学习、安全性、隐私和博弈论。她开发并分析了可伸缩的健壮学习框架,用于在对抗规避攻击的环境中学习算法。她还分析了物理世界中对抗学习算法的行为。她是赛门铁克研究实验室研究生奖学金的获得者。她于2016年获得范德比尔特大学博士学位。

Dawn Song是加州大学伯克利分校电气工程和计算机科学系的教授。她的研究兴趣在于深度学习和安全性。她研究了计算机系统和网络中的各种安全和隐私问题,包括从软件安全、网络安全、数据库安全、分布式系统安全、应用密码学到机器学习和安全的交叉领域。她是获得各种奖项,包括麦克阿瑟奖学金,古根海姆奖学金,NSF事业奖,斯隆研究奖学金,麻省理工学院技术评论TR-35奖,乔治Tallman Ladd研究奖,小川基金会研究奖,李嘉诚基金会女性在科学卓越系列讲座奖,教师从IBM研究奖,谷歌和其他主要科技公司,从上会议最佳论文奖。她在加州大学伯克利分校获得了博士学位。在加入加州大学伯克利分校之前,她曾于2002年至2007年在卡内基梅隆大学(Carnegie Mellon University)担任助理教授。

Yevgeniy Vorobeychik是圣路易斯华盛顿大学计算机科学与工程学院的副教授。此前,他是桑迪亚国家实验室的首席研究科学家。2008年至2010年,他是宾夕法尼亚大学计算机与信息科学系的博士后研究员。他获得了密歇根大学的计算机科学与工程博士学位(2008)和硕士学位(2004),以及西北大学的计算机工程学士学位。他的工作重点是安全与隐私的博弈论建模,对抗机器学习,算法和行为博弈论和激励设计,优化,基于代理的建模,复杂系统,网络科学,流行病控制。Vorobeychik博士在2017年获得了美国国家科学基金会职业成就奖,并受邀发表了ijcai16早期职业聚焦演讲。他被提名为2008年ACM博士学位论文奖,并获得了2008年IFAAMAS杰出论文奖的荣誉奖。

教程ppt下载链接: 链接:https://pan.baidu.com/s/1YDWJ2lFhiLRtNDpH4YyZLg 提取码:ccra

成为VIP会员查看完整内容
0
18

近几年来,随着机器学习的普及,机器学习系统的公平性问题引起了实际的道德、社会等问题。图书《公平性与机器学习—局限与机遇》以公平性为核心问题来看待机器学习,提供了对当前机器学习实践以及为实现公平而提出的技术修复方案的批判性思考。

成为VIP会员查看完整内容
Fairness+and+Machine+Learning.pdf
0
20

主题: Safe and Fair Machine Learning

简介:

在这个演讲将讨论一些我们的未来的工作在一个新的框架设计的机器学习算法,内容包括:1)使得算法的用户更容易定义他们认为是不受欢迎的行为(例如,他们认为是不公平的,不安全,或者成本);2)提供了一个高信任度保证它不会产生一个解决方案,展示了用户定义的不受欢迎的行为。

作者简介:

Philip Thomas是马萨诸塞大学安姆斯特分校信息与计算机科学学院助理教授,自主学习实验室联合主任。之前是卡内基·梅隆大学(CMU)的博士后,2015年,在马萨诸塞州立大学阿默斯特分校(UMass Amherst)获得了计算机科学博士学位。主要研究如何确保人工智能(AI)系统的安全性,重点是确保机器学习(ML)算法的安全性和公平性以及创建安全和实用的强化学习(RL)算法。

成为VIP会员查看完整内容
0
5

Learning with limited data is a key challenge for visual recognition. Few-shot learning methods address this challenge by learning an instance embedding function from seen classes and apply the function to instances from unseen classes with limited labels. This style of transfer learning is task-agnostic: the embedding function is not learned optimally discriminative with respect to the unseen classes, where discerning among them is the target task. In this paper, we propose a novel approach to adapt the embedding model to the target classification task, yielding embeddings that are task-specific and are discriminative. To this end, we employ a type of self-attention mechanism called Transformer to transform the embeddings from task-agnostic to task-specific by focusing on relating instances from the test instances to the training instances in both seen and unseen classes. Our approach also extends to both transductive and generalized few-shot classification, two important settings that have essential use cases. We verify the effectiveness of our model on two standard benchmark few-shot classification datasets --- MiniImageNet and CUB, where our approach demonstrates state-of-the-art empirical performance.

0
8
下载
预览
小贴士
相关VIP内容
相关论文
Liang Chen,Jintang Li,Jiaying Peng,Tao Xie,Zengxu Cao,Kun Xu,Xiangnan He,Zibin Zheng
33+阅读 · 2020年3月10日
Ramchandra Joshi,Purvi Goel,Raviraj Joshi
4+阅读 · 2020年1月19日
Omni-directional Feature Learning for Person Re-identification
Di Wu,Hong-Wei Yang,De-Shuang Huang
3+阅读 · 2018年12月13日
Learning Embedding Adaptation for Few-Shot Learning
Han-Jia Ye,Hexiang Hu,De-Chuan Zhan,Fei Sha
8+阅读 · 2018年12月10日
Few-shot 3D Multi-modal Medical Image Segmentation using Generative Adversarial Learning
Arnab Kumar Mondal,Jose Dolz,Christian Desrosiers
9+阅读 · 2018年10月29日
Pengda Qin,Weiran Xu,William Yang Wang
14+阅读 · 2018年5月24日
Luke Metz,Niru Maheswaranathan,Brian Cheung,Jascha Sohl-Dickstein
5+阅读 · 2018年5月23日
Pierre-Luc Dallaire-Demers,Nathan Killoran
3+阅读 · 2018年4月30日
Mohammed E. Fathy,Quoc-Huy Tran,M. Zeeshan Zia,Paul Vernaza,Manmohan Chandraker
9+阅读 · 2018年3月27日
Antonio Toral,Andy Way
5+阅读 · 2018年1月15日
Top