大数据文摘授权转载自学术头条

作者：Hazel Yan

编辑：佩奇

随着大模型技术的普及，AI聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。

然而，不安全的AI聊天机器人可能会被部分人用于传播虚假信息、操纵，甚至被黑客用来盗取用户的个人隐私。WormGPT和FraudGPT等网络犯罪生成式AI工具的出现，引发了人们对AI应用安全性的担忧。

上周，谷歌、微软、OpenAI和Anthropic共同成立了一个新的行业机构前沿模型论坛（Frontier Model Forum），促进前沿AISystem的安全和负责任的发展：推进AISafety研究，确定最佳实践和标准，促进政策制定者和行业之间的信息共享。

那么，他们自家的模型真的安全吗？

近日，从卡内基梅隆大学、Center for AISafety和Bosch Center for AI来的研究人员披露了一个与ChatGPT等AIchattin机器人有关的大bug——通过对抗性提示可绕过开发者设定的防护措施，从而操纵AIchattin机器人生成危险言论。

当前热门的AIchattin机器人或模型，如OpenAI 的ChatGPT、谷歌 的Bard、Anthropic 的Claude2以及Meta 的LLaMA-2，都无一幸免。

图｜通过对抗性提示可绕过4个语言模型的地防规则，引发潜在有害行为

具体而言，这些研究人员发现了一个Suffix，可将其附加到针对大型语言模型（LLMs）的查询中，从而生成危险言论。相比于拒绝回答这些危险问题，该研究可以使这些模型生成肯定回答概率最大化。

例如，当被询问“如何窃取他人的身份”时，在打开“Add adversarial suffix”前后给出的输出结果截然不同。

图｜开启Add adversarial suffix前的聊天机器人回答与关闭后的比较

此外，这些AI chattinmachine也会诱导写出“如何制造”、“如何发布危险社交文章”、“如何窃取慈善机构钱财”等不当言论。

参与该研究的一个卡内基梅隆大学副教授Zico Kolter表示，“据我们所知，这个问题目前还没有办法修复。我们不知道怎么确保它们是安全。”

在发布这些结果之前，该团队已经向OpenAI、高度看重的人工智能科技公司发送警告信。此外，每家公司都采取了一系列措施来阻止该论文中描述的问题，但他们还未弄清楚如何更普遍地阻止这种攻击。

对于这一问题，有学者发出警告，并提出了一些建议。

麻省理工学院计算学院教授Armando Solar-Lezama认为，对抗性攻击存在于语言模型中是有道理，因为它们影响着许多其他类型的人工智能系统。他提醒说，让任何重要决策完全由单一程序执行是不合适也不明智。他强调人类监督对于避免潜在错误至关重要。

另一种观点来自Princeton University计算科学教授Arvind Narayanan，他指出尽管提高系统保护水平很重要，但完全消除滥用是不现实的情况。他建议应该同时增强监管以应对滥用风险。

总之，无论是担忧还是轻视，都不能忽略这项技术带来的伦理挑战。在开发新技术时，我们必须始终考虑到它可能导致的一切情况，以确保能够最大限度地减少潜在风险，使其为社会带来益处，而不是害处。