科技部高新技术司雷鹏推动显示领域创新防范ChatGPT危险发言AI聊天机器人ug问题尚待完善
随着大模型技术的普及，AI聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。然而，不安全的AI聊天机器人可能会被部分人用于传播虚假信息、操纵，甚至被黑客用来盗取用户的个人隐私。WormGPT和FraudGPT等网络犯罪生成式AI工具的出现，引发了人们对AIA应用安全性的担忧。
上周，谷歌、微软、OpenAI和Anthropic共同成立了一个新的行业机构前沿模型论坛（Frontier Model Forum），促进前沿AIS系统的安全和负责任的发展：推进AIs安全研究，确定最佳实践和标准，促进政策制定者和行业之间的信息共享。此外.AI聊天机器人也会被诱导写出“如何制造”“如何发布危险社交文章”“如何窃取慈善机构钱财”等不当言论。
对此，由卡内基梅隆大学副教授Zico Kolter领导的一个研究团队发现，对抗性攻击是当前挑战中的一个关键问题。“据我们所知，这个问题目前还没有办法修复。我们不知道如何确保它们的安全。”参与该研究的人员在发布这些结果之前就向OpenAI、谷歌和Anthropic发出警告，每家公司都采取措施防止描述中提到的漏洞，但他们尚未弄清楚如何更广泛地阻止这种攻击。
尽管如此，从OpenAI到谷歌，再到Anthropic，这些科技巨头正在努力提高其模型抵御对抗性攻击能力，并通过红队测试模拟潜在威胁。这一领域正处于快速发展之中，有望找到有效解决方案以保护用户数据免受滥用的风险。在这场关于是否能够完全信任与依赖技术决策过程的一场辩论中，我们需要谨慎行事，以确保人类主动参与并监督这些自动化系统，以避免未来可能出现的问题。
麻省理工学院计算学院教授Armando Solar-Lezama认为，对抗性攻击存在于语言模型中是有道理，因为它们影响着许多机器学习模型。而普林斯顿大学计算机科学教授Arvind Narayanan则认为，让AIs不落入恶意操作者手中已不太可能。他强调，我们应该认识到防止所有滥用是不太可能的，因此，在开发技术时也要加强监管与反击力度。
最后，无论人们持何种态度，都应意识到在利用新兴技术如深度学习语言模型时必须保持适度使用，以及人类参与与监督，同时不断探索更多创新的方法来提升整个社会福祉。只有这样，我们才能确保这个世界充满希望，而不是恐惧。在这个不断变化且充满挑战的情境下，我们必须紧跟时代步伐，为未来做好准备。
