表情包生产基地：AI像人类一样为图像生成搞笑文字说明

2018 年 7 月 30 日 英伟达NVIDIA中国

制作表情包还能获得研究生学分？如果使用深度学习技术来实现的话，是有可能的。

23岁的Lawrence Peirson正在攻读斯坦福大学的理论天体物理学博士学位，但今年却决定进修几门AI课程。在一个班级项目中，他和自己的同班同学E.Meltem Tolunay开发了一个神经网络，可为表情包生成说明文字。他们发布了一份关于该网络的白皮书，其标题十分贴切：“Dank Learning”（“Dank”是“Cool”的同义词）。

虽然现在已经存在很多训练深度学习模型为图片生成文字说明的例子。例如，准确地为一张图片生成说明性文字“踏着冲浪板的男人”或“拿着蛋卷冰淇淋的孩子”。但对于表情包，Peirson想挑战一下神经网络能否突破字面解释，创造出具有幽默感的文字说明。

尽管一开始Peirson对所生成表情包的趣味性持怀疑态度，但最终他发现深度学习模型确实可以生成“一些非常有趣的原创幽默内容”。

获得“深度表情包”

该神经网络为一类流行的动物表情包生成说明文字。为了收集用于训练该深度学习模型所需的数据，Peirson从memegenerator.net网站上搜集了大约40万个由用户生成的表情包。该网站提供各类表情包模板，并允许用户自己搭配文字说明。

该数据集包含大约3000个基本图像，每个图像都配有多种不同的文字说明。由于输入数据均来自用户，深度学习模型所处理的表情包文字说明的质量良莠不齐。

“我们使用了40万个表情包，其中的大部分没有那么有趣，但是至少它们能够教会系统表情包是什么，以及什么样的笑话才是与图片内容相关的，”他说道。

互联网表情包在网络上早已流传多年，Reddit、Facebook、9GAG和Quick Meme等网站是它们的大本营。最火爆的表情包可能会配有超过200万种原创文字说明。

表情包引用的通常是流行文化、时事或某个特定的互联网亚文化群体才明白的“梗”。（Peirson创建了一个名为“The specific heat capacity of europium at standard temperature and pressure”的表情包页面。）

这些表情包同时汲取了数字文化的精华与糟粕。其论文指出，训练数据中大多是关于咒骂、种族主义和性别歧视的表情包。Peirson觉得需要在未来训练中过滤掉这些内容，但他指出这一问题并不是表情包所独有的，“这在自然语言处理中是一个普遍存在的大问题”。

该深度学习模型利用CUDA语言编写，使用了一块NVIDIA GPU。Peirson和Tolunay同时尝试了使用无标记的数据和标有表情包标题的数据（例如，成功小子或暴走漫画），但并没有发现表情包的质量有任何显著差异。

“这些表情包非常有趣，不过是‘也还说得过去，但其实并不是那么搞笑’这种程度，” Peirson说道，“表情包就是借用了这种幽默感。

该神经网络为此类动物表情包生成了说明文字。

让表情包变酷可不容易

为了评估深度学习模型成功与否，两人开发了一个“困惑指数”（perplexity score），用其检查神经网络是否可以明确识别出数据的模式。他们针对几百张带有预设格式的表情包计算出了“困惑指数”。如Boromir（电影《魔戒》中的角色）表情包，该表情包的文字说明始终都带有“one does not simply”的字样。

但对于表情包的真正考验在于其是否搞笑。

在一项定性调查中，Peirson与其白皮书的共同作者同时向受访者展示了人类创作的表情包和深度学习模型生成的表情包。他们向受访者提出了两个问题：“表情包是由人类创作的还是由计算机创作的？”，以及“如何评价表情包的幽默程度？”。

Peirson表示，访问结果显示深度学习模型创作的表情包“与人类创作的表情包几乎无法区分”。

他们还研究了其神经网络如何为训练数据集之外的表情包生成文字说明。在这种情况下，算法会基于其在训练数据中看到的内容推理未知图像的模式。为了测试这一点，Peirson甚至向深度学习系统展示了他自己的照片，生成的文字也相当有趣。