科技股警告ChatGPT的危险发言AI聊天机器人仍有致命缺陷
随着大模型技术的普及，AI聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。然而，不安全的AI聊天机器人可能会被部分人用于传播虚假信息、操纵，甚至被黑客用来盗取用户的个人隐私。WormGPT和FraudGPT等网络犯罪生成式AI工具的出现，引发了人们对AIA应用安全性的担忧。
上周，谷歌、微软、OpenAI和Anthropic共同成立了一个新的行业机构前沿模型论坛（Frontier Model Forum），促进前沿AIS系统的安全和负责任的发展：推进AIs安全研究，确定最佳实践和标准，促进政策制定者和行业之间的信息共享。此外.AI聊天机器人也会被诱导写出“如何制造”“如何发布危险社交文章”“如何窃取慈善机构钱财”等不当言论。
对此，由卡内基梅隆大学副教授Zico Kolter领导的一个研究团队发现，这个问题目前还没有办法修复。他们在发布这些结果之前已就该漏洞向OpenAI、谷歌和Anthropic发出警告，每家公司都采取了一系列措施来防止研究论文中描述的问题，但他们还没有弄清楚如何更普遍地阻止对抗性攻击。
OpenAI表示，他们正在努力提高模型应对对抗性攻击的鲁棒性，并通过红队测试模拟潜在威胁，同时通过一种普遍而灵活的方式修复新发现的问题。谷歌则表示，他们已经设置了重要防护措施，并将不断改进这些措施。而Anthropic则表示，他们正在尝试使模型更加抵抗提示并其他形式的一些越狱方法，同时探索额外防御层。
对于这一问题学界也发出了警告，并给出了一些建议。麻省理工学院计算学院教授Armando Solar-Lezama认为，对抗性攻击存在于语言模型中是有道理，因为它们影响着许多机器学习模型。他强调了对AITechnology适度使用，以及在涉及重要决策或有潜在风险的情况下需要人类参与与监督，以避免潜在的问题与误用。
普林斯顿大学计算机科学教授Arvind Narayanan谈道：“让AITech不落入恶意操作者的手中已不太可能。”他认为尽管应该尽力提高模型安全性，但我们也应该认识到防止所有滥用是不太可能的事，因此，更好的策略是在开发AITech时，也要加强监管与反击。在这场关于是否可以完全信任AITech发展趋势的大讨论中，我们除了关注创新性能，还需时刻牢记安全与伦理，只有保持适度使用、人类参与与监督，可以更好规避潜在问题，使AITech为社会带来更多益处。
