算法出岔子时，它和我们都无法识别！

作者简介：THOMAS T. HILLS是英国考文垂沃里克大学的心理学教授。

算法出岔子时（它们会出岔子），我们常常不知道问题的根源，甚至不知道问题的存在。

我的车子产生了幻觉？运行城市警察监视系统的算法偏执多疑吗？道格拉斯•亚当斯（Douglas Adams）的科幻名著《银河系漫游指南》中的机器人马文觉得左手边所有二极管处疼痛。我的烤面包机会有这种感觉吗？

这一切听起来很荒谬，除非我们意识到算法越来越多地以我们自己设想的来开发。我们逐渐深入了解自己的大脑，运用这方面的知识开发我们自己的算法。这些算法控制无人驾驶汽车的速度，为自主军用无人机识别目标，计算我们对商业和政治广告的敏感性，通过网上约会服务找到灵魂伴侣，以及评估我们的保险和信用风险。算法正成为我们生活的大背景，有近乎敏锐的感觉。

目前投入到工作场所的最流行的算法是深度学习算法。这些算法通过构建表达信息的复杂机制，以此体现人脑的结构。它们通过体验环境来了解环境，识别什么方面似乎很重要，搞清楚什么预测什么。就像我们的大脑一样，这些算法日益面临心理健康问题。

Deep Blue（深蓝）是1997年击败世界国际象棋冠军加里•卡斯帕罗夫（GarryKasparov）的算法，其秘诀在于运用强大的蛮力，每秒分析数百万个局面，最多考虑后面20步。即使自己搞不了算法，但谁都能明白它如何工作。2016年在围棋比赛中击败李世石的深度学习算法AlphaGo根本上不同。它使用深度神经网络，对围棋这项被认为是最复杂的棋盘游戏形成了自己的一套理解。AlphaGo通过看别人下棋、自己下棋来学习。计算机科学家和围棋选手都被AlphaGo不按常理下棋的做法搞得迷惑不解。它的策略乍一看似乎很笨拙。只不过回想起来，我们才能明白AlphaGo的想法，尽管不是非常清楚。

为了让大家更好地了解我说的思路的意思，请考虑这个：Deep Blue之类的程序在编程时可能会有bug。它们可能因内存过载而崩溃。由于无休止的循环，它们可能进入瘫痪状态，或者就在查找表上吐出错误的答案。但是所有这些问题都可以由程序员通过查看源代码来解决，即编写算法的代码。

像AlphaGo这样的算法完全不同。查看它们的源代码，无法看䢺问题。它们以表达信息的方式被嵌入到系统。这种表达是不断变化的高维度空间，就像梦中走动一样。解决这方面的问题完全需要为算法找一个心理治疗师。

以无人驾驶汽车为例。在现实世界中看到第一个停车标志的无人驾驶汽车已经在训练过程中看到过数百万个停车标志，通过训练它不断知道什么代表停车标志。在各种光照条件下，遇到好的或坏的天气，有或没有弹孔，它遇到的停车标志含有令人眼花缭乱的各种信息。在大多数正常的条件下，无人驾驶汽车会识别出实际的停车标志。但并非所有条件都是正常的。最近的一些演示表明，停车标志上的几张黑色粘贴纸可能会骗倒算法，以为停车标志是时速60英里的标志。算法会受到类似树木的高对比度阴影的因素的影响，产生幻觉。

算法产生幻觉的不同方式有多少种？为了一探究竟，我们就得为算法提供所有可能的输入刺激组合。这意味着算法出岔子的方式可能有无限种。Crackerjack程序员已经知道这一点，创建了所谓的敌对示例（adversarial example），以此充分利用算法。麻省理工学院的AI研究小组LabSix已表明，通过向谷歌的图像分类算法出示图像，并利用算法发回来的数据，他们就能找出算法的弱点。然后他们可以搞些试验，比如骗倒谷歌的图像识别软件，让它误以为色情图片只是在草地上玩耍的几只小狗。

算法之所以也会犯错，是由于它们获得的环境特征与结果相关联，即使两者之间并没有因果关系。在算法界，这称为过度拟合（overfitting）。大脑中出现这种情况时，我们称之为迷信。

由于目前为止我们所知的迷信而导致的最大算法败笔是类似Google Flu（谷歌流感）的情况。谷歌流感使用人们输入到谷歌搜索引擎的内容来预测流感大爆发的位置和强度。谷歌流感的预测起初效果不错，但久而久之，效果越来越差，直到最后它预测的病例数量居然是向美国疾病控制中心提交的病例数量的两倍。就像算法巫医一样，谷歌流感完全关注错了对象。

算法问题可能是可以修复的。但实际上，算法常常是专有的黑盒子，其更新在商业上受到保护。卡西•奥尼尔（Cathy O’Neil）所著的《数学杀伤性武器》（2016年）描述了商业算法的怪异表现，算法的阴险问题共同夺去了人们的性命。将富人和穷人分开来的算法断层线尤其引人注目。贫穷的人更可能信用不良，住在犯罪高发的地区，身边都是存在类似问题的其他穷人。因此，算法针对这些人发布误导性的广告，向他们提供次级贷款，将更多的警察派往他们所在的社区，这加大了他们在富裕社区因以类似速度犯下的犯罪活动被警察扣留的可能性。司法系统使用的算法对这些人判了期限更长的徒刑，减小了假释的机会，阻止他们就业，增加了抵押贷款利率，要求支付更高的保险费等等。

这种算法死亡旋涡隐藏在套娃般的黑盒子中：把我们无法了解的高维度思维方面的处理隐藏起来的黑盒子算法进一步隐藏在归厂商专有的黑盒子中。这促使纽约市等一些地方提议出台法律，对市政服务使用的算法具有的公正性予以监控。但如果我们发现不了自身的偏见，又怎能发现算法的偏见呢？

由于拿人类数据训练算法，它们学会了我们的偏见。最近普林斯顿大学的艾琳•卡利斯坎（Aylin Caliskan）领导的一项研究发现，拿新闻训练的算法实际上在一夜之间学会了种族偏见和性别偏见。卡利斯坎特别指出：“许多人以为机器是没有偏见的。但机器拿人类数据来训练，而人类是有偏见的。”

社交媒体充斥着人类偏见和仇恨。在社交媒体网站上待过一段时间的算法很快变得偏执。这些算法对男性护士和女性工程师有偏见。它们对待移民和少数族群权利等问题的角度经不起调查。只要有一点机会，我们预计算法对待人就像人对待人一样不公正。

至于我上面描述的算法，它们的心理健康问题来自训练它们的数据具有的质量。但算法也会因构建的方式而出现心理健康问题。算法学习新的信息时可能会忘记旧的信息。想象一下：学记新同事的名字，突然忘了自己住在哪里。极端情况下，算法会出现所谓的灾难性遗忘（catastrophic forgetting）：整个算法再也无法学习或记住任何东西。人类的认知力随年龄而衰退这个理论基于类似的想法：记忆的东西越来越多时，大脑和台式计算机都需要更多的时间来找到它们知道的东西。

事情变得病态时往往是观点出了问题。因此，人类的精神异常常常不被发现。联觉者（比如我女儿）觉得书写字母是颜色，常常要到十几岁才意识到自己在感知能力上有天赋。基于罗纳德•里根的演讲模式的证据现在表明，他在担任美国总统期间可能患有痴呆症。《卫报》报道称，大概过去五年在美国发生的大规模枪击事件中十之八九常常由所谓的“正常人”来实施，他们觉得迫害和沮丧，不堪折磨，于是酿成惨祸。

在许多情况下，需要反复发生故障才能发觉问题。至少需要观察一个月相当细微的症状，才能诊断是否患有精神分裂症。反社会人格障碍是精神病态和社会病态的现代术语，要等到患者到18岁才能诊断出来，而且前提是患者在15岁以前就有行为障碍史。

大多数心理健康障碍没有生物标记，就像AlphaGo的代码中没有bug那样。这个问题在我们的硬件中没有显露出来，但在软件中显露出来。我们大脑出岔子的诸多方式使得每个精神健康问题本身具有独特性。我们将它们分为几大类，比如精神分裂症和阿斯波哥尔综合征，但大多数是谱系障碍，多多少少涵盖我们都有的症状。2006年，马修•凯勒（MatthewKeller）和杰弗里•米勒（Geoffrey Miller）这两位心理学家认为，这是大脑构造方式的一个不可避免的属性。

我们的大脑会经常出岔子。卡尔•荣格（Carl Jung）曾表示，每个神智健全的人都隐藏着疯子。随着我们开发的算法变得更像我们自己，隐藏起来变得更容易了。