CNCC2018：YOCSEF论坛 | “AI 作恶，是世界末日还是杞人忧天？”

2018 年 10 月 26 日 中国计算机学会

中国计算机学会青年计算机科技论坛 (CCF YOCSEF) 于2018年10月25日在杭州国际博览中心会议区二层新闻发布厅以“AI作恶，是世界末日还是杞人忧天？”为题，进行了研讨。

最近，谷歌、亚马逊、微软分别与美国军方、警方和移民局合作，研究人工智能在军事、警用和移民方面的用途；韩国科学技术院也与军方合作设立实验室，研究人工智能武器。这些研究不仅严重侵犯了人权、自由和隐私，还对人类的安全产生了威胁，是对人类作恶，从而遭到人工智能研究人员的强烈抵制。这也一定程度印证了霍金、马斯克和比尔盖茨等提出的人工智能威胁论，即人工智能会危害并最终毁灭人类。

任何技术都是一把双刃剑，都有可能用于作恶。为什么人工智能作恶能引起这么大的反响？AI 作恶是世界末日还是杞人忧天？为了避免人工智能作恶，是否应该停止相关技术的研究？从立法角度如何看待和防止 AI 作恶？

针对以上问题，中国计算机学会青年计算机科技论坛 (CCF YOCSEF) 于2018年10月25日在杭州国际博览中心会议区二层新闻发布厅以“AI 作恶，是世界末日还是杞人忧天？”为题，进行了研讨。360集团技术总裁、首席安全官谭晓生总裁，北京大学法学院教授、互联网法律中心主任张平教授作为特邀嘉宾，做引导发言，同时邀请上海交通大学电子系特别研究员、青年千人倪冰冰研究员，南京理工大学教授、教育部高维信息智能感知与系统重点实验室副主任肖亮教授作为论坛嘉宾，一起参加与参会人员互动、讨论环节，分别从不同角度和层面进行了阐述，并发表自己的观点。

本次论坛 CCF YOCSE 学术委员、哈尔滨工业大学邬向前教授 CCF YOCSEF 副主席、上海交通大学董笑菊教授共同主持。在线由 CCF YOCSEF 候任学术委员、北京邮电大学高志鹏教授和 CCF YOCSEF 候任学术委员、美团点评资深技术总监王栋共同主持。

与人性搏斗，AI的善与恶

360集团技术总裁，首席安全官谭晓生总裁，阐述了自己的观点。

首先人性决定了AI的善与恶。AI 的善与恶，本质上依然是发明和发展 AI 的人的善与恶。

其次事情总有两面，当我们享受 AI 带给我们的便捷、便利的时候，也要承担 AI 所带来风险：AI 的算法可能存在缺陷、AI 的代码实现可能会存在缺陷、AI 所承载的硬件计算载体可能存在缺陷，更不要说 AI 已经被网络黑产和军方所采用，如同若干次技术革命时所面临的挑战一样。

谭晓生总裁还强调“物竞天择，适者生存”，我们应该拥抱变化，积极适应 AI 的快速发展。

AI作恶的实质是人类在作恶

北京大学法学院教授、互联网法律中心主任张平教授从法律角度分享了自己对 AI 作恶的认识。她认为“AI 作恶的实质是人类在作恶”。张平教授在发言中谈到，“AI的本质是人类的工具”，而法律对人类利用工具作恶的规制主要是从技术、产品以及人机混合体（新生命）三个方面进行。

从现有法律看，AI 作恶可分为“大恶”与“小恶”。“大恶”无外是达到了人类无法控制的顶级作恶--“反人类罪”，按照现行人类法律对于反人类行为当必除之； “小恶”的基本特征是将 AI 作为人类的工具用来作恶，包括大数据的滥用等。张平教授认为，要想制止AI作恶，应当从人类开始。张教授谈到，真正令人恐惧的是作恶的“人机混合体”。一些具有强大功能的“人机混合体”将更多享受地球以及宇宙的资源，而其他自然人将处于弱势，从而成为“被作恶对象”。

张教授认为在AI研发的规制上只可能从善良的角度尽可能做道德约束，但绝无法阻止人类中的“恶人”行为，小恶只能由事后的法律救济，大恶只能由人类命运决定，就像核武器一样，全人类恶之，但无法制止。任何工具都具有利弊两面性，从技术中立角度出发，人类不应当禁止工具的发明，反而，人类社会正是从工具的应用开始进化，所以作为工具的 AI 如果作恶的话，可以按照人类现行法律，追究其具有过错的控制人、持有人、利用人等“人”的责任，间接地也会追究无过错的其他关联人的责任。同时，张教授还给出了AI应当遵循的基本原则，即有益目的原则、安全性原则、价值归属原则和非颠覆原则等。