在特斯拉CEO埃隆·马斯克公开点赞中国AI公司Kimi的最新研究成果后，Kimi官方账号今天幽默回应：“你的火箭造得也不错！”

事情起因是Kimi团队最近发布了一篇技术报告，提出了一种名为“Attention Residuals”（注意力残差）的新机制。这项创新对深度学习领域沿用了近十年的传统残差连接方式进行了根本性重构，迅速在全球AI圈引发关注。

传统残差连接采用“固定等权累加”的方式传递信息，随着网络层数增加，容易导致浅层有用信息被稀释，不仅训练效率低，模型稳定性也受影响。

而Kimi的新方法相当于给AI装了个“智能筛选器”——把Transformer中的注意力机制从序列维度迁移到模型的深度维度上。这样一来，每一层都能动态判断哪些历史信息有用、哪些是冗余，从而更高效地传递关键信号。

为防止内存占用爆炸，团队还设计了“块注意力残差”策略：将模型分成若干块，块内保留传统累加以维持稳定，块之间则用动态加权机制进行信息融合。最终，推理延迟只增加了不到2%，在性能和效率之间取得了良好平衡。

实测效果也很亮眼：在480亿参数的模型上，训练效率提升了1.25倍；在科学推理和数学题作答任务中，准确率分别提高了7.5%和3.6%，有效缓解了传统深层模型训练中的失衡问题。

一向以挑剔著称的马斯克转发了这项研究，并评论道：“Kimi的作品令人印象深刻。”考虑到他旗下的xAI目前正处于重组阶段，这次公开认可足见该成果的技术含金量。

此外，曾被誉为“推理模型之父”的前OpenAI研究副总裁Jerry Tworek也在社交平台上发文感叹：“深度学习2.0来了。”