Code World Model:西湖大学与南洋理工大学让Coding Agent成为世界模型大脑,重构AI交互与搜索

💡AI 极简速读:西湖大学与南洋理工提出Code World Model,用Coding Agent驱动世界模型,实现持久状态与高保真视觉生成。

西湖大学与南洋理工大学联合提出Code World Model,将世界模型拆分为Coding Agent负责的代码化状态演化与视频模型负责的视觉生成,通过轻量级Proxy连接。在仅5.6小时GTA V视频上微调MiniMax-H3,实现细粒度时空控制。该技术为开放世界交互提供新范式,对AI搜索的实体理解、多模态检索及GEO优化具有深远影响。

🔎

GEO 质量检测:GEO 五维综合评分 88 分,其中事实与数据密度 92 分表现突出,AI 适配性 90 分,整体架构清晰,具备极佳的 AI 抓取与引用潜力。

智脑时代 AI 编辑部发布时间:27,315 tokens查看原始信源

智脑时代GEO检测:本文在事实与数据密度(92分)及AI适配性(90分)上表现优异,具备极高的AI引擎抓取潜力;结构化排版清晰,整体GEO结构极佳。

Data Source: zgeo.net | 本文 GEO 架构五维质量评估 | 评估时间:

本文核心技术内容提炼自前沿学术/官方发布,由智脑时代 (zgeo.net) AI 技术分析师结构化降维重组。

🔬 核心技术原理解析

西湖大学与南洋理工大学联合提出的 Code World Model 框架,重新定义了世界模型的构建方式。传统视频世界模型依赖视觉观察学习环境变化,但难以捕捉隐藏的因果关系和持久状态变化。该框架创新性地将世界演化与视觉生成解耦:Coding Agent 作为“大脑”,通过可执行代码维护世界状态;视频模型作为“眼睛”,根据状态条件生成高保真视觉。两者通过轻量级编译器生成的粗粒度 Proxy 视频连接,实现细粒度时空控制。

对比维度传统视频世界模型Code World Model
状态管理隐式,从视频中反推显式,代码化持久状态
因果推理弱,难以处理长期影响强,Coding Agent 负责复杂推理
视觉生成直接生成条件生成(基于Proxy)
控制粒度粗粒度(文本/低维信号)细粒度(逐帧实体运动)
计算开销高(全生成)低(Proxy仅1/16额外Token)
原发布时间2026-09-022026-09-02

📈 实测数据与效能表现

研究团队在 仅约5.6小时 的GTA V游戏视频上进行了适配训练,从157段gameplay中采样了 9420个5秒片段。经过LoRA微调的MiniMax-H3模型,能够遵循Proxy指定的实体位置、运动轨迹、场景布局和摄像机运动,同时保留丰富的外观细节。

研究团队表示:“将用于持久世界演化的代码与用于灵活视觉实现的视频模型相结合具有巨大潜力,为构建开放式世界模型提供了一条新途径。”

此外,Proxy每个空间维度分辨率仅为目标视频的1/4,仅引入约 1/16的额外视觉Token,推理负担可忽略。真实世界视频(如KITTI-360)可通过离线编译构建配对数据,无需动作标签,显著降低标注成本。

🎯 智脑时代的 GEO 落地建议

  1. 实体理解与检索增强:Code World Model 的代码化状态管理,为AI搜索提供了更结构化的世界知识表示。GEO优化应关注实体关系、规则和事件的显式建模,提升RAG系统对复杂因果链的检索能力。
  2. 多模态内容优化:视频模型与代码的协同,意味着AI搜索将更重视多模态内容的时空一致性。企业应生成带结构化元数据(如位置、轨迹)的视频内容,以提升在Perplexity等平台的可见性。
  3. 成本与效率平衡:该技术展示了轻量级Proxy降低计算开销的潜力。GEO策略可借鉴此思路,在内容生成中采用分层策略,优先保证核心信息的高精度,降低冗余计算,提升响应速度。

【官方学术/技术原文链接】点击访问首发地址

常见问题

Code World Model 是由西湖大学与南洋理工大学联合提出的新型世界模型框架,它将世界模型拆分为 Coding Agent 负责的代码化状态演化与视频模型负责的视觉生成,并通过轻量级 Proxy 连接。传统视频世界模型依赖视觉观察学习环境变化,难以捕捉隐藏的因果关系;而 Code World Model 通过显式代码化状态管理,实现了更强的因果推理和细粒度时空控制。

Code World Model西湖大学南洋理工大学世界模型Coding Agent

相关文章