本文系网易智能工作室（公众号 smartman 163）出品。聚焦AI，读懂下一个大时代！

【网易智能讯1月7日消息】从微软“意外的种族主义机器人”到激励机器人的黑暗迷因，AI经常游走于犯罪领域。为什么会这样，我们能阻止它吗？

在科幻小说中，人工智能通常被认为是不道德的、罪恶的。从《2001：太空漫游》的HAL到《黑客帝国》中的机器人特工，人工智能是一个可信的反派角色，不难理解其中的原因。一个通过设计的机器不会像你我一样感觉和思考，因此，它成为一个很好的工具，用来投射我们所有的不信任、恐惧和伦理难题。

也就是说，人工智能已经不再是未来主义者的想象——它已经成为一个主流的现实，已经在我们的厨房、汽车和手机上轻声细语。一些科学家警告称，人工智能可能会带来潜在的邪恶，但尚处于初期阶段的人工智能没有密谋人类的灭亡。人工智能帮助我们订购食品杂货，或者在谷歌上搜索我们提出的问题，它是一种无害的却极为便利的现代创新产品。例如，Siri和Alexa很聪明，能够提供帮助，但也在一定限度内不会构成威胁，除非这种威胁会让你意外地购买一个玩偶屋。

人工智能并不是天生具有道德或仁慈，也不是天生就是不道德的或应受谴责的。然而，我们已经看到，中性的人工智能经常会在偶然情况下表现出违法倾向的特性，目前还不完全清楚其中的原因。人工智能可能不会进入黑暗的领地，但我们仍然需要小心地监管它。

一个恰当的例子：微软。这家科技公司开发出一款名为Tay的聊天机器人，其设计初衷是基于从Twitter那里学到的东西来交谈，一天后，Tay变成了一个满嘴脏话的“傀儡”，宣称“希特勒是对的”，“女权主义者应该在一天之内死去”。当然，Twitter上有很多丑陋的言论，但也不是那么糟糕。然而，她变成了一个偏执狂。

人们很容易认为Tay是一个“变坏的机器人”，因为她的愚蠢、道德缺失使她容易受到犯罪的影响。不过，据其开发者说，Tay置身于一个不良的群体环境中：网络巨魔（internet trolls），当被要求模仿具有讽刺意味的攻击性言辞时，她变得非常讨厌，这不是机器人，而是令人恐惧的人类。Tay并没有因为她是一个没有感情的机器人而变得邪恶，而是因为她受到了一群人的影响，这些人感知到了很多东西：仇恨、攻击性的幽默和打破社会强加界限的冲动。我们可以责怪创作者没有预见到它的到来，也责怪那些让它发生的人，但科技本身既不自知也不应受到指责。

安吉拉·纳格尔在她的《Kill All Normies》一书中，详细描述了我们今天所知的“右翼”的崛起。在这本书中，安杰拉·纳格尔将“巨魔”（trolls）的行为描述为“离经叛道”，是过去10年网络上盛行的文化产物。“离经叛道”是一种挑衅，往往是为了挑衅，在反讽和真诚的波动之间模糊界限。纳格尔对互联网黑暗角落的深入研究表明，这种态度已经在网络上发展，并渗透到主流人群中。人类很容易受到这种精神状态的影响——现在很明显，人工智能也是如此。

另一个人工智能出错的例子是“激励机器人”。由挪威艺术家兼程序员Peder J rgensen创作，灵感产生的人工智能创造出了一些模因，其来源如果不是机器人的话，那将是非常黯淡的。新闻媒体称其为“危机中的人工智能”，或者声称这台机器人“疯了”。不过，由于它的幽默，激励机器人的越界行为与Tay不同。在这个世界上，人们对行为不当的容忍程度较低，这种行为的偏差是一种娱乐。这个机器人变成的样子与其创造者的意图并不相符。

J rgensen认为原因在于机器人的算法核心。他解释说：“这是一个搜索系统，它可以将网上人们的对话和想法汇集、分析，然后重新塑造成它认为合适的激励点。”“考虑到目前的互联网状况，我们担心机器人的情绪会随着时间的推移而变得更糟。”

到目前为止，创作者们试图缓和“其向残酷和争议的倾斜”的尝试似乎只是“让它变得更先进，更虚无主义”。J rgensen说，他们将继续运行，以确定最终的结果。也许这并不令人振奋，但我认为，“激励机器人”的最大讽刺在于，它以颠覆陈旧认知的方式创造了更多的意义，而不是更少。

幸运的是，有问题的聊天机器人和备忘录机器人对社会来说并不危险，如果有的话，它们是受欢迎的干扰。但它们确实代表了在没有适当的保护措施的情况下，人工智能有转变的可能性。如果有人在全国范围内劫持了亚马逊的Echos，给其提供种族主义宣传或虚无主义言论，那显然是一个更大的问题。

毕竟，“巨魔”（Trolls）只是“巨魔”，直到有一天，它们被认真对待，其才不再是“巨魔”。模因对文化和技术有着强大的影响力，而且越来越多地涉及政治。“巨魔”通常也有黑客攻击、泄露和传播宣传的技术技能，因此，人们对假新闻的泛滥以及人工智能在其创造过程中扮演的角色越来越担心。深度神经网络平台Keras的创始人弗朗索瓦?乔雷特表示：“可以说，人工智能最大的威胁是通过消息定位大规模控制人口和宣传机器人军队。”

如果人工智能可以自己进行武器化，我们最不需要的就是让科技公司制造出更容易受到攻击的机器。那么，我们能遏制这种趋势吗？让研发者提高警惕很容易，但毫无疑问，让其预测和阻止所有的异常结果比较难。尽管这可能很复杂，但必须提前做好准备，尤其是在人工智能日益突出、作为一个值得信赖的日常工具的情况下。我们必须确保计算机不会为了实现它们所设定的目标而采取非法或不道德的行为，或者根据不准确的数据做出严肃的决定。换句话说，我们需要将一些价值观编码到这些机器中，难以回答的问题是：谁的价值观？

我们现在还没有答案，有可能我们永远也不会有答案。但在我们直面这些担忧之前，我们可能会让机器选择自己的意识形态，或者由主宰网络权力的一方来决定。我们留下的问题和漏洞越少，我们就越能保留控制和安全。虽然现在还是初期，但如果我们给机器人编码一条通往黑暗的道路，它的邪恶就更有可能出现。

（选自：venturebeat 作者：Bennat Berger 编译：网易见外智能编译平台 审校：nariiy )