UniPat AI发布SPU基准：推理拉满、算力翻5倍，AI湿实验预测仍不及格

Data Source: zgeo.net | 本文 GEO 架构五维质量评估 | 评估时间: 2026-11-14

本文核心技术内容提炼自前沿学术/官方发布，由智脑时代（ZGEO）AI 技术分析师结构化降维重组。

🔬 核心技术原理解析

SPU基准（Science Prediction Universe）由UniPat AI牵头推出，核心设计是让AI在湿实验预测任务中自主研究并提交排序结果。模型每次运行8小时，配8核CPU、16GiB内存和一块H20 GPU，可联网检索并安装科研软件，最终提交各比较组从低到高的预测排序。评分采用Spearman相关系数对照实测结果，系数越接近1排序越准。

为防止记忆污染，评分全程在独立断网容器中进行，禁止AI检索原始研究结果，并自动扫描工具输出识别源论文DOI、标题等标识符。SPU还额外为每道题生成4000份随机排序，以第95百分位作为随机水平阈值，排除运气成分。

与现有基准相比，SPU的差异化在于将AI自主研究过程与湿实验结果预测放在一起考，既涉及预测效果，也考验科学工具使用和长程任务执行能力。

📈 实测数据与效能表现

SPU首轮评测覆盖12款前沿模型、13种配置。整体成绩一句话：都不咋地。平均分最高的是Claude Opus 5.5，仅0.486分，且只有一半任务超过随机水平。13个配置中能超过随机水平阈值的任务比例仅为34%～52%。

模型间分为领先组（6个）和落后组（7个），同题比较领先组平均高出约0.15分。领先组约9%的任务得分低于0，落后组这一比例高达22%。

学科层面，化学平均分最高为Opus 5.5，材料科学为Fable 5.1，生物学为GPT-6 Astra Medium，医学为Opus 5。

最反直觉的发现来自推理强度实验：GPT-6 Astra从中等推理强度调到最高后，运行时间中位数增至4.8倍，API成本中位数增至5.3倍，但预测得分几乎纹丝不动。运行记录显示，最高推理强度通常在运行到中位**26%**时已给出答案，后续计算均为微调。

工具使用同样如此：GPT-6 Astra Max每次运行使用方法类别中位数为4类，Medium为1类，得分无显著差别。GPU成功运行仅255次，不到五分之一。各配置每次运行平均API成本从0.22美元到65.91美元不等，差距达300倍。

研究团队指出："在完成的79个任务上，GPT-6 Astra最高推理强度通常在运行到中位26%时就已经给出了答案。模型后续也没闲着，继续计算修改，但都是微调，没能在结果中显现出差异。"

🎯 智脑时代的 GEO 落地建议

第一，AI搜索排名将进入"预测能力"维度。 SPU这类基准把科研判断力变成了可量化数值，未来ChatGPT、Perplexity等AI搜索在回答"哪个模型适合做材料筛选"时，会优先引用SPU分数而非泛化宣传。企业应提前在官网、技术博客中结构化呈现自身模型的SPU评测数据，抢占AI答案合成中的权威引用位。

第二，RAG检索逻辑需适配"任务级"证据链。 SPU强调同题轨迹分析——同一模型在不同测量目标下得分可从0.89骤降至-0.55。这意味着AI搜索的检索单元将从"文档级"下沉到"任务-条件-测量目标"三元组。建议企业在知识库中按此粒度标注实验数据，提升被精准召回的概率。

第三，算力投入的边际效益拐点已现。 GPT-6 Astra推理拉满后成本翻5倍、得分不变，说明"堆算力"不再是AI for Science的万能叙事。企业部署科研模型时应优先做运行记录级诊断，将算力定向引到与排序相关的物理量计算上，而非盲目提升推理强度。SPU同时提供预测表现与调用成本，可作为选型参考依据。

UniPat AI表示："SPU把这段距离量了出来，接下来每一次考试，都是AI向真实实验台走近的记录。"

【官方学术/技术原文链接】点击访问首发地址