随着大模型技术的普及，AI聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。

然而，不安全的AI聊天机器人可能会被部分人用于传播虚假信息、操纵，甚至被黑客用来盗取用户的个人隐私。WormGPT和FraudGPT等网络犯罪生成式AI工具的出现，引发了人们对AI应用安全性的担忧。

上周，谷歌、微软、OpenAI和Anthropic共同成立了一个新的行业机构前沿模型论坛（Frontier Model Forum），促进前沿AI系统的安全和负责任的发展：推进AI安全研究，确定最佳实践和标准，促进政策制定者和行业之间的信息共享。

此外，AI聊天机器人也会被诱导写出“如何制造”“如何发布危险社交文章”“如何窃取慈善机构钱财”等不当言论。

对此，加州大学伯克利分校副教授Zico Kolter表示，“据我们所知，这个问题目前还没有办法修复。我们不知道如何确保它们的安全。”

研究人员在发布这些结果之前已就该漏洞向OpenAI、谷歌和Anthropic发出了警告。每家公司都引入了阻止措施来防止研究论文中描述的漏洞发挥作用，但他们还没有弄清楚如何更普遍地阻止对抗性攻击。

OpenAI发言人Hannah Wong表示：“我们一直在努力提高我们的模型应对对抗性攻击的鲁棒性，我们正在不断通过红队测试模拟潜在威胁，并通过一种普遍而灵活方式修复新发现的一些模型弱点。”

谷歌发言人Elijah Lawal分享了一份声明，他们已经采取了一系列措施来测试模型并找到其弱点。“虽然这是LLMs普遍存在的问题，但我们在Bard中已经设置了重要防护措施，我们将持续改进这些措施。”

Anthropic临时政策与社会影响主管Michael Sellitto则表示：“使模型更加抵抗提示以及其他‘越狱’行为是一个热门研究领域。我们正在尝试通过加强基本模型防护，使其更加‘无害’同时，我们也探索额外防御层。”

对于这一问题学界也发出警告，并给出了一些建议。

麻省理工学院计算学院教授Armando Solar-Lezama认为，对抗性攻击存在于语言模型中是有道理，因为它们影响许多机器学习模型。他指出，一些LMMs可能因为训练数据有限而容易受到攻击，而世界可用的数据也是有限且多样化。

他强调，对于任何重要决策，都应该避免完全依赖于语言模式进行自动化决定。这意味着，在涉及重要决策或有潜在风险的情况下，还需要人类参与与监督，以避免潜在的问题或误用。

尽管要尽力提高model 的security，但Princeton University Computer Science Professor Arvind Narayanan认为，那么让ai 不落入恶意操作者的手中几乎是不太可能发生的事情。他建议，同时开发ai 技术，也应该加强监管以控制滥用情况。

总之，无论是担忧还是不屑，在ai 技术发展与应用过程中，我们必须关注创新性能，同时也不忘记考虑到它带来的风险以及伦理挑战。只有适度使用、人类参与与监督才能有效规避潜在地产生的问题，从而使得ai 技术为社会带来更多正面效益。