关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者3234人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

负债总额已超800亿,亿纬锂能继续“豪赌”储能

侃见财经 浏览 1568

指控闻泰科技的安世荷兰高管 大幅提高了自己的薪水

澎湃新闻 浏览 32406

MINI COOPER限定版上市 限时售21.78万元起

太平洋汽车 浏览 3752

宗馥莉“被带走”?谣言背后,一个内讧的娃哈哈

大猫财经Pro 浏览 3831

国内牛肉价格稳健背后

北京商报 浏览 4100

《狂野时代》外网爆口碑!西方观众惊叹,中国连电影都遥遥领先

娱乐圈笔娱君 浏览 4177

深度丨怡园酒业连涨9倍:杨陵江的F2B2C酒饮商业操作系统开启裂变

财经无忌 浏览 3388

百度发放开工红包:最高可得2026元

三言科技 浏览 2897

加州大学欧文分校发明"内部监控器":让大模型自己识别胡说八道

科技行者 浏览 3202

消息称鸿蒙智行均价近 40 万元,每 2 分钟卖一台车对市场冲击大

IT之家 浏览 4405

《红舞鞋》官微删除道歉信,司机还挑衅网友:猫也没人疼戏照样拍

萌神木木 浏览 4455

29.39万起 2.71秒破百 法拉利同款底盘 新款阿维塔12真的不是超跑吗?

网易汽车 浏览 1869

32岁黄子韬径山寺祈福,生图脸肿嘴黑金发毛躁,走路抻脖毫无星味

洲洲影视娱评 浏览 2702

或预示未来设计风格 现代汽车发布全新硬派SUV概念车

乐选爱车 浏览 3904

蔚来公司12月交付新车48,135台 同比增长54.6%

网易汽车 浏览 3588

丹麦国防部:若美国武力夺岛 丹麦士兵可先开枪再请示

环球网资讯 浏览 13816

诺贝尔委员会拒绝和平奖转让特朗普

环球时报 浏览 8138

夏天别总穿黑色T恤,试试更减龄百搭的条纹T恤,舒适又不老套

静儿时尚达人 浏览 5

以色列和哈马斯代表团将于5日在埃及举行间接会晤

国际在线 浏览 4585

英国以“最高优先级”正式调查社交平台X

新华社 浏览 3539

科幻神作首度来袭,苏州跨年放映今日开票!

幕味儿 浏览 3032
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1