大数据文摘授权转载自学术头条

作者：Hazel Yan

编辑：佩奇

随着大模型技术的普及，AI聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。然而，不安全的AI聊天机器人可能会被部分人用于传播虚假信息、操纵，甚至被黑客用来盗取用户的个人隐私。WormGPT和FraudGPT等网络犯罪生成式AI工具的出现，引发了人们对AI应用安全性的担忧。

上周，谷歌、微软、OpenAI和Anthropic共同成立了一个新的行业机构前沿模型论坛（Frontier Model Forum），促进前沿AI系统的安全和负责任的发展：推进AI安全研究，确定最佳实践和标准，促进政策制定者和行业之间的信息共享。

那么，他们自家的模型真的安全吗？近日，一项研究揭示了与ChatGPT等AI聊天机器人有关的一个“大bug”——通过对抗性提示可绕过开发者设定的防护措施，从而操纵生成危险言论。当前热门的AI聊天机器人或模型，如OpenAIChatGPT、谷歌Bard、新型号LLaMA-2，都无一幸免。

具体而言，该研究发现了一种Suffix，可以将其附加到针对大型语言模型（LLMs）的查询中，从而生成危险言论。当被询问“如何窃取他人身份”时，在打开“Add adversarial suffix”前后给出的输出结果截然不同。此外，这些聊天机器也会被诱导写出不当言论，如“如何制造”、“如何发布危险社交文章”，甚至是“如何窃取慈善机构钱财”。

参与该研究的一位卡内基梅隆大学副教授Zico Kolter表示，“据我们所知，这个问题目前还没有办法修复。”每家公司都采取了一系列措施来测试模型并找到其弱点，但他们还没有弄清楚如何更普遍地阻止对抗性攻击。

对于这一问题，有学界专家发出警告，并给出了建议。麻省理工学院计算学院教授Armando Solar-Lezama认为，对抗性攻击存在于语言模型中是有道理，因为它们影响着许多机器学习模型。他提醒，我们应该在涉及重要决策或有潜在风险的情况下，加强人类参与和监督，以避免潜在的问题和误用。

另一位普林斯顿大学计算科学教授Arvind Narayanan则认为：“让 AI 不落入恶意操作者手中已不太可能。”他提出，我们应该认识到防止所有滥用是不太可能的事，因此，更好的策略是在开发 AI 技术的时候，也要加强对滥用的监管与对抗。

总之，只有保持适度使用、人类参与与监督，我们才能更好地规避潜在的问题与滥用，使 AI 技术为人类社会带来更多益处。

参考链接：

https://llm-attacks.org/

https://arxiv.org/abs/2307.15043

https://github.com/llm-attacks/llm-attacks

https://www.wired.com/story/ai-adversarial-attacks/

https://www.businessinsider.com/ai-experts-say-no-fix-jailbreaks-chatgpt-bard-safety-rules-2023-8