In this study, we investigate system-level emergent risks of interacting AI agents. The core contribution of this work is an exploratory scenario-based identification of these risks as well as their categorization. We consider a multitude of systemic risk examples from existing literature and develop two scenarios demonstrating emergent risk patterns in domains of smart grid and social welfare. We provide a taxonomy of identified risks that categorizes them in different groups. In addition, we make two other important contributions: first, we identify what emergent behavior types produce systemic risks, and second, we develop a graphical language "Agentology" for visualization of interacting AI systems. Our study opens a new research direction for system-level risks of interacting AI, and is the first to closely investigate them.


翻译:本研究探讨了交互式人工智能代理在系统层面涌现的风险。本工作的核心贡献在于基于探索性情景识别这些风险并对其进行分类。我们考虑了现有文献中的多种系统性风险案例,并开发了两个场景,分别展示智能电网和社会福利领域中涌现的风险模式。我们提出了一个风险分类法,将识别出的风险划分为不同类别。此外,我们还做出了另外两项重要贡献:首先,我们识别了哪些涌现行为类型会产生系统性风险;其次,我们开发了一种名为"Agentology"的图形化语言,用于可视化交互式人工智能系统。本研究为交互式人工智能的系统层面风险开辟了新的研究方向,并首次对其进行了深入探究。

0
下载
关闭预览

相关内容

一种Agent自主性风险评估框架 | 最新文献
专知会员服务
16+阅读 · 10月24日
先进人工智能的多智能体风险
专知会员服务
24+阅读 · 2月22日
脑启发的人工智能:全面综述
专知会员服务
52+阅读 · 2024年8月30日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 12月22日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员