关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1994人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

消息称一加性能新机搭骁龙 8 系旗舰芯 + 超高刷屏、有很酷的联名

IT之家 浏览 3175

阿萨德垮台,谁将掌权叙利亚?

浏览 26475

租电版本售15.79万 乐道L60紫罗兰限定版上市

网易汽车 浏览 2545

"九一八事变"纪念日当天 有些日媒还"警戒"上了

澎湃新闻 浏览 15708

强硬夺权、父子决裂!84岁“鞋王”何以至此?

无冕财经 浏览 2322

魏牌再换CEO,哈弗一把手赵永坡兼任!长城冲击高端化需要更多牌?

时代周报 浏览 2570

支付宝下架首页AQ广告,回应“内斗”传闻,网友:感觉就是一场营销

红星资本局 浏览 3301

4年8000万美元?解析火箭续约伊森前景:最终达成可能性较大

罗说NBA 浏览 3343

5年20款新50万辆野心:现代汽车在内卷中寻找"确定性"

网易汽车 浏览 35

巴菲特被曝已清仓比亚迪,持股期间比亚迪股价涨超38倍

澎湃新闻 浏览 4005

网恋1个月怀孕 45岁女子被61岁男友拉黑:他出轨别人

极目新闻 浏览 9138

冬奥总结:雪上项目当主角 中国刷新境外参赛最佳

体坛周报 浏览 1711

成败AI:谷歌市值超越苹果

北京商报 浏览 2273

真我realme UI本月有更新计划,适配GT Neo 6 SE及以上机型

IT之家 浏览 1428

苹果产能转移印度远未完成!900万部美版iPhone仍要“中国制造”

快科技 浏览 3442

盛合晶微冲刺IPO 募资扩产引争议

北京商报 浏览 3135

奥迪A5L Sportback限定版上市 售33.49万元

车质网 浏览 2115

男子夜钓遭枪击 家属:4人当场逃跑 伤者走回家后倒地

封面新闻 浏览 8935

歼-10又发威!巴铁击落印度战机并俘虏飞行员

浏览 7380

脱口秀演员杨笠清空社交账号 她到底经历了什么?

代军哥哥谈娱乐 浏览 3160

售13.98万起 吉利新能源皮卡四驱山地版/高寒版同步上市

网易汽车 浏览 2524
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1