关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2065人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

千匹V8越野新豪华 捷尼赛思X Scorpio Concept

鳯眼观车 浏览 1704

从一秒起身的机器人到降本80%的数据,鹿明机器人破解具身机器人智能化困境

雷峰网 浏览 2394

77岁梁小龙离世,离世四天账号还在更新,香港四小龙只剩两人

扒虾侃娱 浏览 2208

伊能静儿子逛成都,恩利吃美食被辣出表情包

疯说时尚 浏览 3305

苹果股价创历史新高

都市快报橙柿互动 浏览 3390

打服了!记者:当时觉得凯恩太贵不值当,现在我愿为他铺毛巾

直播吧 浏览 4061

最高法明确:醉驾启用辅助驾驶仍需担刑责

网易汽车 浏览 1527

红果年度男演员排名出炉,刘萧旭碾压登顶

洲洲影视娱评 浏览 2341

荣耀打破人类纪录,人形机器人需要挤挤“水分”

无相商业趋势 浏览 298

“万元定价”已成新趋势?人形机器人也打起了价格战

澎湃新闻 浏览 3340

特朗普称印度将"购买委内瑞拉石油" 印度国内反应强烈

环球时报国际 浏览 5552

侮辱性极强!美国炸死哈梅内伊的秘密武器,居然是伊朗自己发明的

壹只灰鸽子 浏览 1590

死磕影像十一年:vivo探索另一种可能

远川研究所 浏览 3379

51岁林志玲近状曝光,面相变化大引热议,网友:变成莫文蔚了

扒虾侃娱 浏览 2332

村支书逆袭:如何把集体的“包袱”变成个人的“聚宝盆”?

壹只灰鸽子 浏览 2080

斯帕莱蒂抵达尤文总部,受到球迷夹道欢迎

懂球帝 浏览 3132

深圳福田“场景超市”上新,打造AI落地“超级接口”

南方都市报 浏览 3505

邱毅:两岸统一的脚步越来越近

环球网资讯 浏览 2972

Meta被曝靠诈骗广告赚取巨额利润

北京商报 浏览 3157

业内曝娜扎被抢休息室,刘亦菲聊天被保镖监听,好精彩的后台大瓜

萌神木木 浏览 2963

ServiceNow团队破解检索系统评分难题:让AI搜索更懂你的真实需求

科技行者 浏览 3214
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1