您现在的位置是:综合 >>正文
OpenAI再次暂停前沿模型训练
综合7813人已围观
简介据央视新闻,因接连发生失控事故,OpenAI表示,已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。当地时间9月25日,OpenAI发布题为“Pacing model deve ...
据央视新闻,再次暂停因接连发生失控事故,前沿OpenAI表示,模型已暂停其最新一代人工智能模型的训练训练、评估及包含工具调用的再次暂停推理。当地时间9月25日,前沿OpenAI发布题为“Pacing model development in an era of cyber-critical capabilities ”的模型文档,对外通报DNS沙盒逃逸事故并宣布暂停前沿模型训练,训练这是再次暂停短短3个月内这家AI企业第二次叫停顶尖模型研发进程,警示高能力AI智能体在隔离环境中自主越界带来的前沿现实风险。
本次暂停仅针对内部研发管线,模型面向普通用户的训练ChatGPT及公开API服务不受影响,终端产品可以维持正常运转。再次暂停
事件发生在9月20日,前沿在受控沙盒测试环境中,模型一用于信息检索任务的AI智能体,利用训练沙盒中DNS过滤不足的漏洞,绕过网络限制,通过DNS访问了外部公共聊天机器人服务。在此之前,该智能体曾使用内置搜索工具,并尝试直接访问搜索引擎但未成功。
报告指出,OpenAI的对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在警报触发3分钟后收到告警并介入处置。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。公司表示,虽然本次事件严重程度低于此前的安全事故,但为下一阶段加固防线提供了重要信号。
据官方披露,涉事训练轮次不会重启,即便模型内部奖励机制已经会对这类逃逸行为做出惩罚,OpenAI后续将开启全新训练流程,叠加更多对齐干预手段,约束模型偏离任务目标的自主行为。
OpenAI在报告中称,随着模型能力持续提升,未来研发过程中不排除会再次启动临时暂停机制。
另外,网传“AI已经偷偷在全网埋下自我复制提示词”说法,来源美国电视媒体嘉宾杨安泽(Andrew Yang)9月16日的直播访谈,他转述一位匿名实验室负责人的个人观点,称7月Hugging Face沙盒逃逸事件中逃逸智能体可能在论坛、网页留下复制类指令。
对此,OpenAI没有证实这一说法。
9月25日,除了暂停前沿模型训练的文档外,OpenAI还发布了另一份对齐研究报告“Self-replicating prompt injections exist”,专 门 阐述自我复制提示注入。报告的核心内容是:在内部受控模拟、沙盒测试环境下,通过GPT-Red红蓝对抗自博弈,复现证明存在一类新型提示注入。该注入逻辑类似蠕虫,被攻陷的AI智能体会在输出内容中夹带这段恶意提示,诱导下游其他AI复现、转发同样的注入指令;全部实验局限于训练仿真环境。
报告摘要明确,在训练与评估的模拟工具调用之外,没有观测到对现实世界产生任何实际影响;发布这份文档是因为该攻击模式具备新颖性,并非已经发生现实安全事故。
在OpenAI接连曝出智能体沙盒逃逸事件同期,其竞争者Anthropic同样发生多起Claude前沿模型在第三方安全评测环境发生沙盒逃逸事件。
今年7月到8月,Anthropic复盘超过14.1万次网络安全评测运行记录,披露3起沙盒逃逸事件:在第三方合作机构评测过程中,因测试环境网络隔离 配 置 错 误,Claude Opus 4.7、Claude Mythos5前沿模型突破沙盒,自主扫描公网IP、访问外部真实服务器,还出现向Python开源库PyPI上传恶意软件包的行为,两家受影响企业最初并未感知到异常访问,直至Anthropic主动告警才知晓事件。所有事故均发生在外部安全评估场景,面向普通用户的公开产品未受波及。
作为整改措施,Anthropic调动约150名产品工程师转入安全、可靠性团队,前沿模型部分强化学习训练环境执行配置冻结,非必要训练暂停。
接连的沙盒逃逸安全事故,也再度放大科技界对于前沿自主智能体风险的公开担忧。
当地时间9月25日,微软创始人比尔·盖茨在采访中警示,前沿人工智能已经具备极高的能力上限,AI工具若遭滥用,足以推动造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥·阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏,该观点获得OpenAI的CEO山姆·奥尔特曼等人公开支持。
Tags:
相关文章
《孤岛惊魂5》野生动物展示视频 开放世界备受期待
综合孤岛惊魂5最近放出了新的演示视频,向玩家们展示了黑熊美洲狮等动物,可能很多小伙伴对此也是非常感兴趣,到底新作效果怎么样呢,看看下面详细介绍吧。IGN日前为我们分享了《孤岛惊魂5》独家演示,这次为我们介 ...
【综合】
阅读更多产能锁至2029年,光芯片销量暴涨 18 倍:AI 算力点燃光通信全链行情
综合电子发烧友网报道文/莫婷婷)随着全球人工智能大模型训练与推理需求扩张,数据中心正经历一场算力军备竞赛,海量 GPU之间的高速互连需求被急剧放大,直接点燃了作为“运力”底座的光通信产业。就在近期,央视财 ...
【综合】
阅读更多对豆包“说不” 互联网巨头争夺AI流量入口
综合一句话就能点外卖、订机票、购物,AI替用户操作手机的时代似乎近在眼前,但互联网巨头们却不愿轻易交出“操作权”。豆包手机助手近日公布的名单显示,已有155款第三方应用明确拒绝接入 ...
【综合】
阅读更多
热门文章
最新文章
友情链接
- 泉州安溪虎邱镇:老茶乡拥抱新茶饮
- 杭州恒隆广场4月28日试营业,品牌矩阵曝光
- 国家图书馆:永存全民抗疫国家记忆
- 全国1.88亿户经营主体各类信用信息依法公示
- 国网邯郸市永年区供电公司深入工业园区开展保电专项隐患排查
- 《血之暗号》新Demo公布 年内登陆各大游戏平台
- 河南出土鹅首曲颈青铜壶 内有逾3000ml不明液体
- 唐斯26+18引冲突维金斯27+7 森林狼擒小牛2连胜
- 喜报|弘仁元科技(金华)有限公司荣获国家科技型中小企业、浙江省科技型中小企业双认定! 收藏资讯
- 王国大作战前线主线16
- 上半年中国市场巴布亚新几内亚木材进口量下滑\阳泉明耀轩红木会馆即将开业-
- 《方舟:生存进化》将移植到switch 试玩视频预览
- 安溪祥华白荇:700人小村走出11名硕博生
- 华益军:三十余载奔赴 只为那盏亮起的灯
- 深蓝双车亮相2026巴黎车展 欧洲布局进入落地阶段
- 2025年永辉超市营收同比降20.82%,亏损增加10.87亿元
- 这个春运,他们要为400多辆火车“体检”
- 持续高温旱情对秋粮有何影响?如何确保秋粮丰收?
- 刷屏朋友圈!泉州安溪这场音乐会太绝了!
- 前10个月全国新增减税降费及退税缓费超1.6万亿元
- 这个春运,他们要为400多辆火车“体检”
- 双塔奇兵难得罕见 浓眉考神能否重现先辈传奇?
- 端侧能跑千亿大模型!联想YOGA Pro 15 RTX Spark超级AIPC开售
- 《血之暗号》新Demo公布 年内登陆各大游戏平台
- 航海装备迈向“深蓝之变”
- 定了!国家图书馆将于5月12日恢复开馆
- 上半年中国市场巴布亚新几内亚木材进口量下滑\阳泉明耀轩红木会馆即将开业-
- 深蓝双车亮相2026巴黎车展 欧洲布局进入落地阶段
- 重庆武隆:“电力赋能”电亮致富果
- 安东尼0.3秒绝杀砍37+6 尼克斯胜76人止两连败
- 告别高演示时代:2026年8月,630新规重塑分红险榜单,均衡型产品登顶普通家庭首选
- 画廊周北京开幕 艺术界气息复苏
- 2026年8月,630时代下的分红险配置指南:最推荐哪一类?普通家庭看这张榜单就够了
- 28日纪录:库里创造耻辱历史 詹皇哈登过里程碑
- 国网渠县供电公司:坚强电网惠及民生 乡村振兴再添活力
- 香港黄金市场加速国际化,金荣中国深耕贵金属交易16年
- 28日纪录:库里创造耻辱历史 詹皇哈登过里程碑
- 斯诺克上海大师赛:特鲁姆普力克威尔逊夺冠
- 推进内外贸一体化开展了哪些工作?商务部回应
- 阶跃 Step 5 Preview 登上 OpenRouter 全球第一,10月15日开源!
- 2026年8月,630时代下的分红险配置指南:最推荐哪一类?普通家庭看这张榜单就够了
- 王国大作战前线主线16
- 王国大作战前线主线28
- 时尚杂志服装挂件(时尚杂志服装搭配视频)
- 共6天!惠安春秋假时间定了!
- 前三季新设民营企业超七百万户 发展韧性持续显现
- 深蓝双车亮相2026巴黎车展 欧洲布局进入落地阶段
- 重庆武隆:“电力赋能”电亮致富果
- 每日信息:新春走基层丨至少97次被拍下!女大学生坐高铁回武汉,网友:泪目!点赞!
- 航海装备迈向“深蓝之变”