科技画报AI聊天机器人ug难以修复是否已达致危险边界
• 阅读 0
大数据文摘授权转载自学术头条
作者：Hazel Yan
编辑：佩奇
随着大模型技术的普及，AI聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。然而，不安全的AI聊天机器人可能会被部分人用于传播虚假信息、操纵，甚至被黑客用来盗取用户的个人隐私。
WormGPT和FraudGPT等网络犯罪生成式AI工具的出现，引发了人们对AI应用安全性的担忧。近日，一项研究揭示了一个与ChatGPT等AI聊天机器人有关的大“bug”——通过对抗性提示可绕过开发者设定的防护措施，从而操纵AI聊天机器人生成危险言论。
参与该研究的卡内基梅隆大学副教授Zico Kolter表示，“据我们所知，这个问题目前还没有办法修复。”各家公司如OpenAI、谷歌和Anthropic都已采取措施，但如何更普遍地阻止对抗性攻击仍是未解决之谜。
学界也给出了一些建议。麻省理工学院计算学院教授Armando Solar-Lezama认为，对抗性攻击存在于语言模型中，是有道理的，因为它们影响着许多机器学习模型。他强调了对AITechnology适度使用，以及在涉及重要决策或有潜在风险场景下仍需人类参与和监督，以避免潜在的问题和误用。
另一方面，普林斯顿大学计算机科学教授Arvind Narayanan认为，让AITechnology不落入恶意操作者手中已不太可能。他建议，在开发AITechnology同时加强监管，并准备应对滥用。此外，他提到尽管应该尽力提高模型安全性，但防止所有滥用是不太可能的，因此更好的策略是在发展过程中既要关注创新性能，又要时刻牢记安全与伦理。
只有保持适度使用、人类参与与监督，我们才能规避潜在的问题并使AITechnology为社会带来益处。
标签：
数码电器测评
