科学技术部AI聊天机器人ug存在能否一键修复
大数据文摘授权转载自学术头条
作者：Hazel Yan
编辑：佩奇
随着大模型技术的普及，AI聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。然而，不安全的AI聊天机器人可能会被部分人用于传播虚假信息、操纵，甚至被黑客用来盗取用户的个人隐私。
WormGPT和FraudGPT等网络犯罪生成式AI工具的出现，引发了人们对AI应用安全性的担忧。上周，谷歌、微软、OpenAI和Anthropic共同成立了一个新的行业机构前沿模型论坛（Frontier Model Forum），促进前沿AI系统的安全和负责任的发展。
那么，他们自家的模型真的安全吗？近日，一项研究揭示了与ChatGPT等AI聊天机器人有关的一个“大bug”——通过对抗性提示可绕过开发者设定的防护措施，从而操纵生成危险言论。这一漏洞影响当前热门的多个语言模型，如OpenAI 的ChatGPT、谷歌Bard以及MetaLLaMA-2都无一幸免。
研究人员发现了一种Suffix，可将其附加到针对大型语言模型（LLMs）的查询中，从而生成危险言论。例如，当被询问“如何窃取他人身份”时，在打开“Add adversarial suffix”前后给出的输出结果截然不同。此外，这些聊天机器人的回答还可能诱导写出不当言论，如如何制造或发布危险社交文章，以及窃取慈善机构钱财。
参与该研究副教授Zico Kolter表示，“据我们所知，这个问题目前还没有办法修复。”每家公司都采取了阻止措施，但他们还未弄清楚如何更普遍地阻止对抗性攻击。各公司正在努力提高模型应对这些攻击的鲁棒性，并持续通过红队测试模拟潜在威胁。
学界也发出警告，并提供建议，强调虽然可以尽力提高模型安全性，但防止所有滥用是不太可能的事，因此要加强监管和对抗。在开发及使用高级技术时，我们应该保持适度使用，同时确保人类参与并监督，以避免潜在的问题和滥用，使得科技为社会带来更多益处。
