关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2001人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

拉莫斯:虽然浙江队实力很强,但我们最近的火力也很强盛

懂球帝 浏览 3265

39集《沉默的荣耀》大结局前瞻,5人再无反转,黎晴成唯一变数

娱乐圈笔娱君 浏览 3376

威尔逊FMVP实现大满贯:美媒晒6荣誉高呼GOAT 现场与队友一同舞蹈

颜小白的篮球梦 浏览 3499

德容:梅西曾是我的偶像,对我来说他是史上最佳

懂球帝 浏览 3377

章泽天这次翻车,真的不冤

独立鱼 浏览 2277

高市连退两步 石破茂:中日关系决定日本是否存在

时时有聊 浏览 27204

广东大胜西班牙球队1喜3忧!二老老寒腿,张昊无球权,张皓嘉辣眼

篮球资讯达人 浏览 3315

中方出手反制 日方"叫屈":向中方提出强烈抗议

澎湃新闻 浏览 7536

曼联首发:库尼亚先发出战

体坛周报 浏览 3299

事关黄金交易!工、农、中、建、交、邮储,六大行密集公告

上观新闻 浏览 1998

法甲:马赛2比1客胜斯特拉斯堡

体坛周报 浏览 3795

阿尔巴:对我帮助最关键的是埃梅里;我心中梅西就是历史最佳

懂球帝 浏览 3255

硬刚资本!这一次,我要为陈思诚起立鼓掌

皮皮电影 浏览 35

张雨绮被抵制成功!辽视春晚已将她除名

萌神木木 浏览 2148

算法工程师想在女友面前秀技术“养龙虾”,结果文件夹被全删 周鸿祎称“龙虾”更像个实习生

红星新闻 浏览 1440

威胁要对盟国加征关税后 特朗普亲率代表团出席达沃斯

澎湃新闻 浏览 11827

单刀打空门!47岁德罗巴再现经典:滑跪庆祝 三道杠只剩两条

叶青足球世界 浏览 3428

机器人不约而同毛茸茸,年轻人抢着体验AI养老产品…首届WTCC太全面了

上观新闻 浏览 2675

多地现快递驿站转让帖 经营者:每月只赚5千不如当保安

红星新闻 浏览 8106

「寻芯记」上市后首个大动作!摩尔线程公布全功能GPU架构路线图,国产芯片发起生态冲刺

华夏时报 浏览 2569

11国将承认巴勒斯坦国之际 美国追加60亿美元对以军售

界面新闻 浏览 21120
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1