关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2064人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

秦雯自曝袭警被抓后,让王家卫捞人找自己?

芊手若 浏览 3110

Meta裁员后续:田渊栋被过河拆桥,姚顺雨等集体「抢人」

机器之心Pro 浏览 3217

杨紫胡歌“以命换命”,《生命树》到底讲了什么?

仙女事件簿 浏览 2011

罗马诺:鲍勃转会富勒姆谈判进最后阶段,曼城坚持要3500万镑

懂球帝 浏览 2217

最高法明确:醉驾启用辅助驾驶仍需担刑责

网易汽车 浏览 1527

俄大使:马杜罗夫妇被控制时身边没人

扬子晚报 浏览 2227

史上首次!微软官宣Windows 26H1版本:已推出测试版

快科技 浏览 3035

中方接连被美国暗中"做局" 两个国家几乎同时对华出手

头条爆料007 浏览 6851

借小贝之力,三狮欲赴迈阿密集训

体坛周报 浏览 3282

资源品价值重估,“新周期”启幕

智谷趋势 浏览 2554

李施嬅和车崇健确认已分手,她值得更好的!

黔乡小姊妹 浏览 2286

梦天家居紧急刹车

富凯财经 浏览 2240

专家:美方受到来自北京的迎面正击 特朗普真没招了

澎湃新闻 浏览 3472

中国对日本政府发出第一道制裁令 暗示了高市早苗结局

时时有聊 浏览 19360

三只松鼠3个月两次调价,部分坚果礼拟从明日起出厂价上涨

红星资本局 浏览 2260

李湘账号被封才2天,与释永信关系真相大白

陈意小可爱 浏览 2233

黄一鸣宣布新恋情,王思聪或成过去式

赵昉是个热血青年 浏览 2355

车崇健被嘉宾集体吐槽!Papi直言他听不懂人话,网友喊话别复合了

萌神木木 浏览 3155

“霸凌”周迅的奚美娟,现在付出代价了?

除夕烟火灿烂 浏览 2719

邱毅:两岸统一的脚步越来越近

环球网资讯 浏览 2972

仝卓表弟获救了!照片曝光头发已被剃光,从求助到救出不到24小时

萌神木木 浏览 2825
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1