俄罗斯科学家：聊天机器人已经学会操纵人

“大家都看到了这种危险。” 有很多文章涉及这个问题，目前世界各地进行着几千项这方面的研究，其中就包括大型语言模型领域的突破。神经网络经过 TB级 文本上的训练，几乎吸收了人类积累的所有知识，其中包括来自互联网的大量文本内容。这种网络能够回答问题，做简短总结，制定陈述计划，只要稍加暗示就能纠正自己的错误，从一种语言翻译成另一种语言，以及解决简单的逻辑问题。而且这些技能大部分都是模型自己获得的。每种技能都没有训练样本。最重要的是，我们不明白这是如何发生的。我们说“量变引起质变”，但这种哲学解释并不能消除我们的误解和困惑。

危险在于，该模型生成完全有意义的文本的能力会误导我们。我们似乎觉得，聊天机器人以为自己很聪明，知道得很多，它有自己的性格和个性，它还能做出决定。这都不对。这些都是深处聊天器人世界的我们需要避免的认知上的扭曲，聊天机器人的确会做出决定，但只是关于接下来生成什么词的问题。它不会思考。主动行动的动词“思考、决定、做、建议、施加心理压力、操纵”等等，都不适用于它。这些比喻只会加深我们的误解。 今后我们不要这样谈论。即使是这样想。

聊天机器人不过是个界面，是人与人类知识之间的中介。 这个新的界面比我们已经习惯了二十年的搜索引擎更方便，能够将搜索结果转换为文本。但无论我们有怎样的想法，它绝对是无生命的。

暂时还没有威胁。有一些类似聊天机器人欺骗某个人而不是自己完成验证码的事件。或者机器人向律师提供了实际上并不存在的类似案件的信息。这里我发现自己将主动动词应用于聊天机器人。然而事实并非如此！ 诈骗者使用聊天机器人来欺骗用户。而律师没有耐心去复核资料，尽管他应该知道ChatGPT只是“幻觉”，原则上不能作为法庭的材料来源。至少就这个版本和这种技术的现阶段而言是如此。

主要危险是我们赋予了聊天机器人并不存在的主观性，有意无意地将我们的责任转移到了它的身上。而原则上机器人不能承担责任。机器人没有主观能动性。聊天机器人的危险在于，它们学会了获取信任、操纵人们并能看似合理地撒谎。

并不完全是这样。互联网上有很多操纵人际交流的例子。神经网络就是利用这些数据进行训练的。能够从同一来源生成虚假信息或假新闻，即网络在训练过程中看到了数百万条新闻的例子。在生成文本时，事实可能会以非常奇特的方式被歪曲和混合。当这个功能第一次被发现时，谷歌开发人员担心这样的网络可能会被用作生成谎言的海洋，最终连一丁点的真相也会失去。最新的 GPT-4 模型更令人印象深刻，它显然在没有接受训练的情况下却具有许多技能。

还不完全清楚。很难把这叫做“它的知识”。似乎这些能力的出现是因为 一个巨大的网络在观察人类语言中几乎所有内容的同时，学到了语言中典型的修辞和话语结构，以及词汇构成它们的典型方式。语言中描述的现实规模是巨大的。网络也同样巨大。当规模有意义时就会出现这种情况。

这样提问更准确：我们将如何、何时、为何失去控制权，自愿将其交给算法？这的确是一个不可控的过程还是我们依然是当前这种局面的主人？当然未来我们肯定会增加它们接受训练的数据规模。他们很有可能将获得更多的新技能……还会有多少不可预见的技能被“缝”到模型中。科学界目前正在积极探索它还能做些什么。

“比如，它被发现有说服力。再比如，它能说服一个人改变其政治立场，而且比政客还有效。此外它还有政治偏好。

这要看它社么学得好。研究表明，ChatGPT具有旧金山湾区普通软件工程师的政治倾向：左翼自由主义者、绿党环保主义者。

最有可能的是，英语训练样本中存在着更多的这类文本，并且这部分人类知识被更可靠地印在了模型参数中。然而，如果给模型某种提示，那么就有可能获得关于相同问题的不同意见。但这不准确。无法保证模型能就任何问题提供全面的意见。它有可能给出一个事实，但也可以编造一些事实。迄今为止大语言模型不具备逐字引用、插入主要来源链接或评估来源可靠性的能力。我相信在不久的将来都会得到问题。

我们知道，所有禁止它的尝试都失败了。一种提升人类智力的新方法出现了，这加速了信息产品的生产。这是给文明带来的福祉。当然，前提应该是产品质量好，能造福于民。这就意味着，目的不是教一个人自己写论文。相反，我们的目的是教技术人员生成有用的文本，进而节省数百人理解某个领域课题或解决实际问题的时间。

这是对教育活动的目标和任务进行全面的重新审视。这不仅迫使学生，也迫使教师改变旧有习惯——修改教育任务和知识测试的形式。尤为重要的是，应把摘要发表在相关领域的知名平台上，包含可靠信息，并接受同行评审和抄袭检查。可见作者在写作时使用的工具并不那么重要，不管是搜索引擎、聊天机器人还是图书馆里的纸质书籍。