近日，腾讯提出腾讯混元正式宣布其自主研发的混元Stem稀疏注意力算法被国际顶级机器学习会议ICML-26收录。这项成果的稀疏核心价值在于：在128K超长上下文场景下，首字延迟（TTFT）降低了 3.6倍（部分来源标注为3.7倍），注意同时仅消耗25%的力算算力预算就能逼近稠密注意力的精度。这意味着大模型在处理长文本、腾讯提出长对话、混元长视频等场景时，稀疏用户几乎感受不到等待。注意

Transformer架构的力算核心是自注意力机制，但它的腾讯提出计算复杂度随序列长度呈 二次方增长。当上下文从4K扩展到128K，混元计算量不是稀疏线性增加，而是注意暴增上千倍。这就是力算为什么大模型处理长文本时响应变慢、显存爆炸的根本原因。

稀疏注意力的思路并不新鲜——跳过部分Token之间的计算，只保留"重要"的注意力连接。但现有方案的痛点在于：要么稀疏后精度损失严重，要么理论上省了计算但实际跑起来并没有快多少，因为稀疏模式本身在硬件上并不友好。

Stem算法要解决的，恰恰是这两个问题。

腾讯混元团队没有沿用传统的"哪些Token重要就保留哪些"的思路，而是从因果信息流的角度重新审视块级稀疏。一个Token的重要性，不应该只看它本身，而应该看它在信息传递链条中的位置和作用。

基于这个洞察，Stem提出了两大核心技术：

Token位置衰减（TPD，Token Position Decay）

在因果语言模型中，越靠前的Token对后续生成的影响越大，越靠后的Token影响越小——这是因果关系决定的。TPD利用这一特性，对不同位置的Token施加差异化的衰减权重，让算法自动判断哪些位置的注意力连接可以安全地被稀疏掉，而不需要额外的学习参数。

输出感知度量（OAM，Output-Aware Metric）

传统稀疏注意力往往只看输入端的相似性来决定保留哪些连接，但真正决定一个注意力连接是否重要的，是它对最终输出的贡献。OAM从输出端反向衡量每个注意力连接的实际贡献度，让稀疏决策更加精准。

两者结合的结果是：在仅保留25%注意力连接的情况下，模型精度几乎无损。这不是靠暴力调参硬挤出来的，而是从信息论的底层逻辑出发得出的稀疏方案。

算法层面省下了75%的计算，但如果算子实现跟不上，这些节省就只是纸面上的数字。这也是很多稀疏注意力方案"理论很美、落地很惨"的原因。

腾讯混元配套开源了 Stem+BSA算子（BSA即Block Sparse Attention），这是一套专门针对稀疏注意力模式优化的HPC（高性能计算）算子库。它做的事情很直接：让GPU真正知道哪些计算可以跳过，而不是依然按稠密方式调度。

3.6倍的首字延迟降低意味着什么？当用户输入一段超长文档让模型总结，或者在Agent场景中需要模型先读取大量上下文再回答时，等待时间从原来的数秒压缩到亚秒级。这对实时交互场景（如智能客服、语音助手、在线编程助手）的体验提升是质的飞跃。

稀疏注意力是当前大模型工程优化的核心赛道之一。DeepSeek此前也提出了DSA（DeepSeek Sparse Attention），在token维度进行压缩。而腾讯混元的Stem走了一条不同的路——不是在token维度压缩，而是在块级别基于因果信息流做稀疏，思路更底层，也更通用。

更关键的是，Stem不是一个纯理论贡献。它从算法到算子再到推理框架（Hy3 Preview）形成了完整闭环。算法决定"省哪些计算"，算子决定"省下的计算能快多少"，两者缺一不可。这种从论文到部署的全栈打通能力，才是真正的工程壁垒。

目前Stem已集成至腾讯混元Hy3 Preview推理框架中，这意味着它不会停留在学术论文里，而是已经开始在腾讯云的实际推理服务中发挥作用。对于整个行业来说，当稀疏注意力从"能用"走向"好用且快"，大模型的长上下文能力才算真正迈入了实用阶段。

• ·联合国秘书长呼吁美伊紧张局势降级_
• ·美光科技荣获2025年度大学生喜爱的雇主品牌
• ·成都王妈妈泉州扶倒地阿婆 善心引网友纷纷点赞
• ·50元即可买检测报告 防蓝光眼镜究竟是护盾还是噱头
• ·肢体功能重建手术助一脑瘫患者告别跛行
• ·“史上最冷春节”是谣言 但泉州未来7天确实有点冷
• ·沪苏浙在滁投资实现持续增长_
• ·6月5日“芒种”：麦黄梅熟仲夏至，三夏大忙迎高潮
• ·基于飞腾腾珑E2000 CPU的自主可控DCS系统成功投运
• ·未满月婴儿患急性肺炎 贫困残疾母亲近乎绝望
• ·爱立信与英国电信为朴茨茅斯阿联酋航空英国帆船大奖赛提供通信保障
• ·广东给湖北籍毕业生每人发2000元求职创业补贴
• ·蓝星光域完成数亿元B轮融资
• ·未满月婴儿患急性肺炎 贫困残疾母亲近乎绝望
• ·中国团队技术突破温度枷锁，混合钠离子电池实现全气候应用
• ·国家卫健委：母乳喂养可持续至宝宝2岁及以上