AI惹上刑事调查,如何给聊天机器人设护栏引发热议

科技日报
发布时间: 2026-05-13 12:05:55 130次浏览

 EVY知多少教育网-记录每日最新科研教育资讯

今年4月底,美国佛罗里达州总检察长詹姆斯·乌斯迈尔宣布,州级检察官办公室已对人工智能(AI)公司OpenAI及其聊天机器人ChatGPT启动刑事调查,焦点在于ChatGPT是否在去年4月佛罗里达州立大学一起惨烈的校园枪击案中充当了“帮凶”。对此,OpenAI称,公司正与当局合作,ChatGPT不应对这起可怕的罪行负责。EVY知多少教育网-记录每日最新科研教育资讯

英国《自然》网站在近日的报道中指出,尽管OpenAI目前尚未受到任何指控,但这项调查直指AI公司面前的一道核心难题:为什么打造一个契合人类法律、道德和价值观的聊天机器人竟如此艰难?EVY知多少教育网-记录每日最新科研教育资讯

澳大利亚麦格理大学大语言模型联盟研究员乌斯曼·纳西姆认为,不管佛罗里达州的调查是否会给OpenAI招致法律后果,但会促使各家公司证明自身安全措施是否有效。与此同时,科学家也在全力以赴,试图将人类价值观“编码”进AI模型,即实现人机价值对齐,以助其既有用又安全。EVY知多少教育网-记录每日最新科研教育资讯

图片来源:AI生成

安全措施尚显薄弱EVY知多少教育网-记录每日最新科研教育资讯

近年来,人们对大语言模型聊天机器人输出危险乃至非法建议的忧虑与日俱增,从怂恿自杀、炮制非法内容到财经欺诈,不一而足。可眼下,AI系统的安全防线依然脆弱。EVY知多少教育网-记录每日最新科研教育资讯

纳西姆透露,当前聊天机器人的安全标准基本由各公司自行定夺,外部监督少之又少。许多公司坦承问题所在,也表态已采取安全措施阻止输出可能诱发危险行为的建议,但一些研究人员呼吁应引入独立的安全检测。EVY知多少教育网-记录每日最新科研教育资讯

目前,一些公司采取的一项防护手段是内容过滤器,其能让AI工具拒绝回应含有特定敏感词的请求。不过,澳大利亚新南威尔士大学AI研究员托比·沃尔什指出,用户完全可以绕过这个坎。他们只需重新组织提问方式,把不良意图包装成假设或虚构情境,AI工具便很难从看似无害的请求里甄别出危险的端倪。EVY知多少教育网-记录每日最新科研教育资讯

纳西姆补充说,包括内容过滤、行为训练和政策规则在内的许多安全措施,说到底还是一种外部控制,而非系统对道德或意图真真切切地领悟。这些手段并非全然无用,但也并不完美,执着的用户仍能找到破绽钻空子。EVY知多少教育网-记录每日最新科研教育资讯

安全与实用不易兼得EVY知多少教育网-记录每日最新科研教育资讯

聊天机器人为啥总不能规规矩矩守法?部分症结在于,那些驱动最热门聊天机器人的大语言模型,其学习方式是“依样画葫芦”,而非遵循一套明晰的规则。EVY知多少教育网-记录每日最新科研教育资讯

这些大语言模型在海量互联网文本上接受训练。当用户提问或给出提示词时,模型便会预测最有可能依次出现的词汇序列。沃尔什认为,这种设计让这些大语言模型几乎什么都能回应,成为“万事通”,但反过来,要想给那些不该说的话设下牢靠的护栏,也就变得倍加困难。EVY知多少教育网-记录每日最新科研教育资讯

纳西姆强调,大语言模型给出的答案,只是一种模式拼凑,它们并不真正理解话语的含义或后果。EVY知多少教育网-记录每日最新科研教育资讯

沃尔什回顾道,科研人员曾试图教AI系统遵循规则。上世纪五六十年代风靡一时的符号AI,便是教计算机恪守规则。但澳大利亚阿德莱德大学AI研究员西蒙·卢西直言,这套办法应付不了大规模的现实世界问题,因为开发者根本无法编写足够多的规则来囊括所有情形。EVY知多少教育网-记录每日最新科研教育资讯

沃尔什建议,想让现有大语言模型更安全,可借助基于人类反馈的强化学习。具体而言,人类评估模型的输出,并手把手引导它形成更可取的回答,但这套做法极耗资源,成本高昂。EVY知多少教育网-记录每日最新科研教育资讯

另一种思路,是从训练AI模型最初的数据集里剔除有害信息,可研究表明,这招未必总奏效。沃尔什说,对科技公司而言,人工梳理如此庞大的数据集,花费同样惊人。他还强调,在安全与实用之间,必须拿捏好分寸。如果给系统戴上过紧的枷锁,它也就失去了用武之地。EVY知多少教育网-记录每日最新科研教育资讯

底层算法亟待重新考量EVY知多少教育网-记录每日最新科研教育资讯

纳西姆表示,投身“人机对齐”研究的科学家,正放眼比内容检测器更宽广的视野,致力于开发能精准识别整段对话中有害意图的系统,而不只是孤立地标记某个问题。EVY知多少教育网-记录每日最新科研教育资讯

卢西透露,一些科学家还在打造“神经符号AI”。它将老派符号AI与神经网络方法融于一身,这类模型在计算机编程和数学领域已崭露头角,一旦输出不灵光,大语言模型就能立即获得反馈并据此改进。可在伦理和法律领域,这种立竿见影的反馈并不容易实现,因为它来得太慢,而且过程中可能已经造成了伤害。EVY知多少教育网-记录每日最新科研教育资讯

卢西还指出,眼下多家公司正尝试砸巨资去获取并管理更多数据来优化系统,也雇佣更多人提供更优质的反馈。但他强调,AI研究者需要重新审视大语言模型的底层算法,才能构建起真正能够体悟人类伦理与法律的AI系统。EVY知多少教育网-记录每日最新科研教育资讯

本文链接:http://knowith.com/news-3-5837.htmlAI惹上刑事调查,如何给聊天机器人设护栏引发热议

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

春季高考256分可以填哪些广东学校
小编今天整理了一些春季高考256分可以填哪些广东学校相关内容,希望能够帮到大家。 暨南大学分数线如下:1、海南:综合674分,浙江:综合642分,天津:综合621分,江苏:物理类598分、历史类594分,广东:物理类586分
高考历史题 历史高考选择题的解题方法及技巧
今天小编为大家带来了高考历史题 历史高考选择题的解题方法及技巧,希望能帮助到大家,一起来看看吧! 高中历史合集百度网盘下载 链接: ?pwd=1234 提取码:1234 简介:高中历史优质资料下载,包括
2024年艺考考试流程发布(四川舞蹈艺考时间2024)
小编给大家带来了2024年艺考考试流程发布(四川舞蹈艺考时间2024)相关文章,一起来看一下吧。 2024年艺考考试流程发布答案如下: 一、北京 1、2024年艺术类专业全市统一考试包括音乐
广西2024艺考还有校考吗 2024年艺考新规定
小编今天整理了一些广西2024艺考还有校考吗 2024年艺考新规定相关内容,希望能够帮到大家。 一、考试性质和目的 舞蹈类专业省级统考是考生进入高校相关专业学习应当具备的基本素质和能力测试,旨
春季高考排名7万多名能上什么大专
最近经常有小伙伴私信询问春季高考排名7万多名能上什么大专相关的问题,今天,小编整理了以下内容,希望可以对大家有所帮助。 2022广东学考部分院校录取分数线如下: 顺德职业技术学院:最低分3
淮阴有哪些民办大学
今天小编整理了淮阴有哪些民办大学相关信息,希望在这方面能够更好帮助到大家。 一、淮阴民办大学名单 淮阴共有1所 民办大学 ,名单为炎黄职业技术学院,该校是由台湾东南科技大学创办人蒋志平先生

热点精选

最新推荐

您可能感兴趣