关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者3232人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

国产车强的可怕!德日韩法美系车,全线溃败

说财猫 浏览 3308

诺贝尔文学奖得主迷恋中国 要求全家改用筷子吃饭

中国新闻周刊 浏览 4529

今年冬天最时髦保暖的4组搭配,照着穿美出新高度!

LinkFashion 浏览 3273

插混车纯电续航超过210km,增程车怎么办?

汽车公社 浏览 3512

马斯克:解散 xAI,把22万张GPU租给OpenAI死对头

创业家 浏览 1204

海报荐读|AI产品情绪价值开始“分化”;无障碍出租车为何预约难

上观新闻 浏览 3494

抖音发布2025直播治理白皮书,违规曝光量减少37%

财闻 浏览 3427

3张照片背后,娱乐圈正在悄悄改变的一件事

传递满满正能量 浏览 3358

科学家开发“神经蠕虫”,实现颅内电极游走模式

DeepTech深科技 浏览 5382

记者实测 多地办理电话卡需提供无犯罪证明和银行流水

澎湃新闻 浏览 10448

东风本田10月销量28896台 1-10月累计终端销量255073台

网易汽车 浏览 4338

燃油车的“智能”反击!2025广州车展燃油新车盘点

车市红点 浏览 4029

陈道明主演!36集谍战剧来袭,是《沉默的荣耀》后我唯一想追的剧

娱乐圈笔娱君 浏览 4529

男子如厕突发不适后去世 从倒地到失去意识仅1分钟

上观新闻 浏览 4437

衣柜里要有一条蓝色系半身裙,不撞款的日常造型,轻松get

静儿时尚达人 浏览 627

年度焦点!这是你从没见过的独特电影创作

幕味儿 浏览 3786

今日热点:匠妹因太漂亮没能出演长发公主;时代峰峻回应朱志鑫见面会……

伊周潮流 浏览 4072

原来她就是黄景瑜背后的老板,曾是央视主持

因果 浏览 3393

统治力!罗诗芳卫冕全运会女子举重59公斤级金牌!

体坛周报 浏览 4255

全球首个太空AI诞生,H100在轨炼出!马斯克爆赞

新智元 浏览 3798

60岁阿姨靠穿搭火了!“简约款”穿出高级感,自然老去也很美

静儿时尚达人 浏览 4648
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1