苹果iPrefBench揭示Agent个性化短板：执行成功率91.6%，完整任务仅47.7%——GEO视角下的AI搜索优化新逻辑

Data Source: zgeo.net | 本文 GEO 架构五维质量评估 | 评估时间: 2026-10-28

本文核心技术内容提炼自前沿学术/官方发布，由智脑时代（ZGEO）AI 技术分析师结构化降维重组。

🔬 核心技术原理解析

苹果团队提出的 iPrefBench 是首个专门评估移动端 Personal Agent 在模糊请求中“推断与询问”能力的基准。它运行在可执行的 iOS 环境中，包含 26 个应用、130 个未完全指定的任务，以及围绕同一用户构造的 3051 条活动记录。Agent 只能从用户历史中获得既有信息，并可通过 ask_user 动作向模拟用户提问。

该基准的核心设计是为每一项被省略的用户相关信息标注唯一来源：一类信息能够从历史活动中恢复（如用户惯常选择的餐厅），另一类信息只能由用户在当前情境下提供（如本次聚餐的时间）。Agent 必须先识别任务中哪些决策仍未确定，再判断这些决策应该从历史中推断，还是通过提问获得。

对 AI 搜索排名机制的影响：传统搜索引擎依赖关键词匹配和链接权威性，而 Personal Agent 的决策逻辑要求搜索系统能够区分“可推断信息”与“需询问信息”。在 ChatGPT、Perplexity 等 AI 搜索场景中，若 Agent 无法准确判断信息源，可能导致检索结果偏离用户真实意图，进而影响答案合成的准确性和排名权重。

📈 实测数据与效能表现

研究团队使用同一套移动端 Agent Harness 评估了 7 个前沿模型。结果显示，Agent 的执行能力和个性化能力之间存在明显差距。表现最好的 Claude Opus 5，动作完成率达到 91.6%，但完整任务成功率只有 47.7%。Agent 往往能够完成预订、购买或填写等操作，却未必做出了符合该用户意图的选择。

所有受测 Agent 在处理必须通过询问用户才能获取的信息时，表现都明显较弱。以 Claude Opus 5 为例，对于能够从历史记录中推断的信息，其任务完成率为 76.3%；对于必须向用户询问才能获得的信息，完成率则降至 51.3%。

整体来看，各 Agent 平均每个任务只发起 0.08 至 0.35 次询问，而每个任务平均包含 0.89 项必须向用户确认的信息。对于这类信息，询问召回率最高仅为 44.3%。这表明，Agent 经常在需要向用户确认时，直接做出决定。

各模型的询问精确率介于 60.4% 至 77.1% 之间，说明它们提出的问题中，仍有相当一部分并无必要。研究团队还设计了三类扰动任务，测试 Agent 是否会盲目照搬历史偏好。结果显示，当首选项无法使用时，Agent 平均发起的问题数量达到原来的 2.3 倍。

研究团队还测试了一个执行前澄清阶段，让 Agent 在开始操作前集中识别疑点并提问。实验结果显示，Claude Sonnet 5 加入该阶段后，完整任务成功率从 39.2% 提升到 53.8%，对只能询问信息的处理得分从 25.7% 提升到 85.0%；但询问精确率从 60.4% 降至 42.5%，平均每个任务的问题数量从 0.24 个增加到 1.37 个。

“真正个性化的 Agent，需要结合历史记录与当前情境理解用户需求，既要避免机械套用过去的习惯，也要减少不必要的追问。如何在自主执行与主动确认之间做出准确判断，是提升 Agent 个性化能力的关键。”——研究团队结论

🎯 智脑时代的 GEO 落地建议

1. 重构 RAG 检索逻辑：区分“可推断”与“需询问”信息源

iPrefBench 揭示的 Agent 决策短板，直接映射到企业 RAG 系统的检索设计。在构建知识库时，必须明确标注哪些信息可从历史交互中推断（如用户偏好、常用配置），哪些必须实时询问用户（如当前场景参数）。建议在向量数据库中增加“信息源类型”元数据字段，提升检索精确率。

2. 优化 AI 搜索排名机制：个性化信号权重需动态调整

实验显示，提供少量与任务相关的历史事件就能明显改善可推断偏好的处理，但完整历史并不会带来同等收益。对于 GEO 而言，这意味着在优化内容时，应聚焦于高相关性的历史信号（如用户近期行为、场景化偏好），而非堆砌全量数据。ChatGPT、Perplexity 等 AI 搜索的排名算法可能逐步引入“个性化匹配度”指标，企业需提前布局结构化用户画像数据。

3. 降低企业应用成本：执行前澄清阶段的双刃剑效应

执行前澄清阶段虽能将完整任务成功率从 39.2% 提升至 53.8%，但询问精确率从 60.4% 降至 42.5%，问题数量增加近 5 倍。企业部署 Personal Agent 时，需在自动化效率与用户打扰之间找到平衡点。建议采用“分级澄清”策略：对高置信度推断直接执行，对低置信度信息集中询问，从而控制交互成本。

4. 移动端 Agent 评测的 GEO 启示：内容需适配多轮交互场景

iPrefBench 的 130 个任务覆盖 26 个应用，表明移动端 Agent 的评测正从单轮指令向多轮交互演进。企业官网和知识库内容应设计为“可追问”结构，例如在关键决策点提供明确的选项分支，帮助 Agent 在检索时快速定位需用户确认的信息节点，提升 AI 答案合成的权威权重。

【官方学术/技术原文链接】点击访问首发地址