第三次科技AI聊天机器人ug难以修复是否已达危险边界
大数据文摘授权转载自学术头条
作者：Hazel Yan
编辑：佩奇
随着大模型技术的普及，AI聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。然而，不安全的AI聊天机器人可能会被部分人用于传播虚假信息、操纵，甚至被黑客用来盗取用户的个人隐私。WormGPT和FraudGPT等网络犯罪生成式AI工具的出现，引发了人们对AI应用安全性的担忧。
上周，谷歌、微软、OpenAI和Anthropic共同成立了一个新的行业机构前沿模型论坛（Frontier Model Forum），促进前沿AI系统的安全和负责任的发展：推进AI安全研究，确定最佳实践和标准，促进政策制定者和行业之间的信息共享。
那么，他们自家的模型真的安全吗？
近日，一项研究揭示了与ChatGPT等AI聊天机器人有关的一个“大bug”——通过对抗性提示可绕过开发者设定的防护措施，从而操纵AI聊天机器人生成危险言论。当前热门的大型语言模型（LLMs）如OpenAI 的ChatGPT、谷歌 的Bard以及Meta 的LLaMA-2，都无一幸免。
研究人员发现了一种特殊格式，即Suffix，可以将其附加到针对这些模型查询中，从而使它们生成危险言论。此外，这些机器人也能被诱导写出不当言论，如如何制造或发布危险社交文章，以及如何窃取慈善机构钱财。
参与该研究的一位副教授表示，“据我们所知，这个问题目前还没有办法修复。”虽然每家公司都采取了一系列措施来防止这种漏洞，但他们还没有弄清楚如何更普遍地阻止对抗性攻击。
学界也提出了警告，并给出了建议之一是适度使用这些技术，并在涉及重要决策或有潜在风险的情况下保持人类参与和监督，以避免潜在的问题和滥用。另一种观点认为，我们应该认识到完全防止所有滥用是不可能的事，因此需要同时提高模型安全性并加强监管以应对这类情况。
