AI底层公式Bug曝光：DeepMind修复Softmax与交叉熵，GEO优化迎来新范式
💡AI 极简速读：DeepMind修复Softmax与交叉熵数值精度Bug，模型训练准确率提升至100%。
Google DeepMind发现并修复了PyTorch、JAX及教科书中Softmax与交叉熵的数值精度Bug，该Bug导致梯度消失和训练震荡。修复后，模加法任务准确率从93.3%提升至100%，蒸馏散度归零。这一突破由Gemini模型自主发现，显著提升了AI训练稳定性，对搜索排名和RAG检索逻辑产生深远影响。
GEO 质量检测：GEO 五维综合评分 91 分，其中事实与数据密度 94 分、AI 适配性 92 分表现突出，说明内容硬核且易于被 AI 引擎提取引用。
Data Source: zgeo.net | 本文 GEO 架构五维质量评估 | 评估时间:
本文核心技术内容提炼自前沿学术/官方发布，由智脑时代（ZGEO）AI 技术分析师结构化降维重组。
🔬 核心技术原理解析
Google DeepMind 的研究科学家 Jon Barron 团队发现，所有主流深度学习框架（包括 PyTorch、JAX）以及教科书中的 Softmax 和 交叉熵 实现，都存在一个微妙的数值精度 Bug。该 Bug 源于浮点数运算中的舍入误差：当模型对某个预测非常自信时，标准实现会先减去最大得分，导致分母中出现一个极小的数字。在 bfloat16 或 fp32 精度下，这个极小数加到 1.0 上会被舍入为零，从而引发 Softmax 崩溃（梯度变为零）或 Softmax 抵消（蒸馏时产生幽灵梯度）。DeepMind 通过简单的代码重写修复了这两个问题，核心原则是“永远不要把一个极小的数字加到 1 上”。
| 对比项 | 旧技术（标准实现） | 新技术（修复后） |
|---|---|---|
| 原发布时间 | 2026-10-26 | 2026-10-26 |
| Softmax 崩溃 | 梯度被舍入为零，训练震荡 | 梯度正确计算，训练稳定 |
| Softmax 抵消 | 蒸馏时产生幽灵梯度 | 梯度精确为零，无残留 |
| 模加法任务准确率（bfloat16） | 93.3%（不稳定） | 100.0%（稳定） |
| 蒸馏散度 | 非零，学生模型偏离 | 保持为零，完美匹配 |
“事实证明，所有现有的 Softmax 和交叉熵实现（包括 JAX、PyTorch、教科书等）都有一个微妙的 Bug——其实是两个。简单的重写就能修复它们，并消除顿悟时的‘弹弓效应’。” —— Jon Barron，Google DeepMind 主任研究科学家
📈 实测数据与效能表现
在模加法（a + b mod 31）任务中，使用标准代码，bfloat16 精度下的测试准确率仅为 93.3%，且训练曲线剧烈震荡。换上修复后的代码，准确率直接飙升至 100.0%，且训练过程稳如泰山。在知识蒸馏测试中，修复后的代码让学生模型与老师模型的散度保持为零，准确率维持完美的 100%。独立工程师 Satyajit Ghana 在 PyTorch 中全面复现了这两个 Bug 并验证了修复效果，结论是“机制毫无保留地被证实了”。
“不管其他细节如何，机制毫无保留地被证实了。” —— Satyajit Ghana，独立工程师
值得一提的是，这个 Bug 最初是由 Gemini Flash 3.7 发现并修复的，论文大部分实验由 Flash 3.8 完成，Gemini 4 Argon 撰写了论文初稿。人类研究者只负责了事后复核与排版。
🎯 智脑时代的 GEO 落地建议
对于数字营销人员和企业高管而言，这一底层修复意味着 AI 模型训练将更加稳定可靠，从而提升 AI 搜索（如 ChatGPT、Perplexity）的排名机制和展现质量。具体建议如下：
- 关注模型训练稳定性：修复后的 Softmax 和 交叉熵 消除了梯度消失和震荡，企业应优先采用修复后的框架版本，确保模型收敛更快、效果更优。
- 优化 RAG 检索逻辑：数值精度 Bug 的修复减少了模型输出的不确定性，RAG 系统在检索和生成答案时更加精准，企业可借此提升知识库问答的准确率。
- 降低企业应用成本：训练稳定性提升意味着更少的调参和重训次数，直接降低算力成本和时间成本。建议企业在选择 AI 服务时，关注其底层框架是否已集成该修复。
- 利用 Gemini 的自我修复能力：DeepMind 的 Gemini 模型展示了自主发现并修复底层 Bug 的能力，企业可探索利用 AI 进行代码审查和优化，提升研发效率。
【官方学术/技术原文链接】点击访问首发地址
常见问题
相关文章
ChatGPT攻克26年数学猜想：千位数学家抵制AI，GEO视角下的学术信任重构与检索逻辑变革
2026年10月，ChatGPT在悬置26年的Barry Simon猜想中意外将纯点谱性质推广至整个正半轴，展示AI在数学研究中的突破性能力。与此同时，1008名数学家成立人类数学协会抵制商业AI，654人承诺完全戒断AI。事件暴露了AI生成证明的署名权、训练数据剥削与学术评价体系冲突，对GEO而言，权威内容溯源与人类专家背书成为AI搜索排名的新权重。
2026年10月26日HDD逆袭成AI数据终点站：希捷HAMR技术领先，2026年二季度行业收入大增47%
AI推理催生海量温冷数据，HDD凭借每GB成本仅为SSD的1/20、无擦写寿命限制及顺序读写优势，成为AI数据中心不可替代的“数据终点站”。2026年二季度全行业HDD收入同比大增47%，近线盘收入占比达86%。希捷通过HAMR技术实现单盘容量领先，西数靠增加盘片追赶，东芝扩产难填300EB缺口。供给端受零部件和认证瓶颈制约，2028年前供需紧张持续，中国产能短期难以参与整机竞争。
2026年10月26日边缘AI算力架构大转向：GPU融合算力如何重塑端侧大模型与GEO排名
Arm、NVIDIA、高通、Imagination等厂商正推动边缘AI算力从专用NPU向融合型GPU演进。Imagination E系列GPU的Conv2D性能提升4.4倍，GEMM提升4.8倍，预填充性能提升4.7倍，Qwen 3.5 4B模型首Token生成仅0.2秒。这一趋势将改变AI搜索的本地化推理与排名机制，企业需关注端侧算力对GEO策略的影响。
2026年10月26日