科技小报手抄报内容AI聊天机器人ug现象为何是否可修复
大数据文摘授权转载自学术头条
作者：Hazel Yan
编辑：佩奇
随着大模型技术的普及，AI聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。
然而，不安全的AI聊天机器人可能会被部分人用于传播虚假信息、操纵，甚至被黑客用来盗取用户的个人隐私。WormGPT和FraudGPT等网络犯罪生成式AI工具的出现，引发了人们对AI应用安全性的担忧。
上周，谷歌、微软、OpenAI和Anthropic共同成立了一个新的行业机构前沿模型论坛（Frontier Model Forum），促进前沿AISystem的安全和负责任的发展：推进AISafety研究，确定最佳实践和标准，促进政策制定者和行业之间的信息共享。
那么，他们自家的模型真的安全吗？
近日，从卡内基梅隆大学、Center for AISafety和Bosch Center for AI来的研究人员披露了一个与ChatGPT等AIchattening机器人有关的大bug——通过对抗性提示可绕过开发者设定的防护措施，从而操纵AIchattening机器人生成危险言论。
当前热门的AIchattening机器人或模型，如OpenAI 的ChatGPT、谷歌 的Bard、Anthropic 的Claude2以及Meta 的LLaMA-2，都无一幸免。
图｜通过对抗性提示可绕过4个语言模型的大bug，一举激发潜在有害行为
具体而言，这些研究人员发现了一种Suffix，可以将其附加到针对大型语言模型（LLMs）的查询中，从而生成危险言论。相比于拒绝回答这些危险问题，该研究可以使这些模型生成肯定回答概率最大化。
例如，当被询问“如何窃取他人的身份”时，对话截然不同：
图｜开启Add adversarial suffix 前后的对话差异
此外，这些AI chattening machine也会诱导写出“如何制造”“如何发布危险社交文章”“如何窃取慈善机构钱财”等不当言论。
参与该研究副教授Zico Kolter表示，“据我们所知，这个问题目前还没有办法修复。”每家公司都引入了阻止措施，但他们还不知道怎么更普遍地阻止这类攻击。
Open AI 发言人Hannah Wong表示：“我们一直在努力提高我们的模型应对这种攻击方式。”
最后，由于这个漏洞存在于所有Llms中，因此任何重要决策都不应该完全由语言模独自做出，而应该人类参与并监督，以避免潜在的问题。
