重生之科技垄断巨头一键开启ChatGPT危险发言AI聊天机器人竟有ug目前无法修复
大数据文摘授权转载自学术头条
作者：Hazel Yan
编辑：佩奇
随着大模型技术的普及，AI聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。然而，不安全的AI聊天机器人可能会被部分人用于传播虚假信息、操纵，甚至被黑客用来盗取用户的个人隐私。WormGPT和FraudGPT等网络犯罪生成式AI工具的出现，引发了人们对AI应用安全性的担忧。
上周，谷歌、微软、OpenAI和Anthropic共同成立了一个新的行业机构前沿模型论坛（Frontier Model Forum），促进前沿AI系统的安全和负责任的发展：推进AI安全研究，确定最佳实践和标准，促进政策制定者和行业之间的信息共享。
那么，他们自家的模型真的安全吗？
近日，一项来自卡内基梅隆大学、Center for AI Safety和Bosch Center for AI研究人员披露了与ChatGPT等AI聊天机器人有关的一个“大bug”——通过对抗性提示可绕过开发者设定的防护措施，从而操纵危险言论。此外，这个SUFFIX可以附加到针对大型语言模型（LLMs）的查询中，使它们生成危险言论。
参与该研究副教授Zico Kolter表示，“据我们所知，这个问题目前还没有办法修复。”每家公司都采取了一系列措施来测试模型并找到其弱点，但他们还没有弄清楚如何更普遍地阻止对抗性攻击。
对于这一问题，有学者发出警告，并给出建议。麻省理工学院计算学院教授Armando Solar-Lezama认为，对抗性攻击存在于语言模型中是有道理的，因为它们影响着许多机器学习模型。他强调了适度使用这些技术，以及在涉及重要决策或有潜在风险的情况下仍需要人类参与和监督，以避免潜在的问题和误用。
另一方面，加州大学伯克利分校计算机科学系教授Yann LeCun认为，我们应该认识到，即使最先进的人工智能也无法完全无害化，因此必须实施严格监管以防止滥用。他说：“我们需要确保这些技术不会被恶意利用，而不仅仅是提高它们。”
因此，在追求创新时，我们必须牢记伦理考虑。这包括确保任何新技术都能以一种尊重公民权利且不损害社会福祉的情形下进行部署，同时也要准备好应对未来的挑战。只有这样，我们才能真正利用这项革命性的技术为人类带来积极改变，而不是引入新的风险或威胁。
