关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2000人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

南特科技:加工服务业务收入核算方法存“两个版本” 称客户未指定供应商或现信披疑云

金证研 浏览 3510

上海校园餐背后的供应商,越挖越让人心惊!

功夫财经 浏览 4286

迪拜大力发展自动驾驶产业

人民网 浏览 3945

章子怡醒醒给汪峰打电话:哈尔滨冷记着多穿衣服

观察鉴娱 浏览 3030

台媒:英美等技术顾问不敢坐台自制潜艇出海

环球网资讯 浏览 2621

或45万元起售 岚图泰山将11月18日上市

网易汽车 浏览 3027

记者:詹姆斯复出后将湖人的快攻水平从倒数后5提升到正数前5

懂球帝 浏览 2917

斯塔默:中国已崛起 英国需要承认这种现实的对华政策

环球时报 浏览 21455

LLM 仅靠自身就能增强推理?SePT 给出简洁在线自训练范式

机器之心Pro 浏览 284

保姆机器人来做饭!全国人大代表、海尔集团董事局主席周云杰:机器人会成为新的家电

时代周报 浏览 1517

迟重瑞妻子陈丽华去世,温馨全家福曝光

小兰聊历史 浏览 689

领克900大五座正式上市 限时售价25.48万起

网易汽车 浏览 34

最近很火的发型,原来这么简单!

黎贝卡的异想世界 浏览 3169

三星单季利润暴增208%

21世纪经济报道 浏览 2278

2天挨4 针,韩国皮肤科,挤满“特种兵医美”的中国人

每日人物 浏览 2887

深度搜索如何学会自我监督:来自脑科学的启发

科技行者 浏览 2142

广汽×华为乾崑联合打造 "启境"品牌正式发布

网易汽车 浏览 4055

透视以胡“超音速博弈”背后的攻防密码

浏览 7073

胜率大降!若特朗普“对等关税”被推翻,市场会如何反应?

华尔街见闻官方 浏览 3001

淘宝闪购换CEO:“老将”雷雁群接棒,曾为阿里“中供铁军”成员

时代周报 浏览 642

谢林汉姆:加纳乔非常有天赋,但不确定他能否在蓝军取得成功

懂球帝 浏览 3492
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1