【AIbase 报道】2023年8月12日,昆仑万维在其 SkyWork AI 技术发布周上,正式推出了全新自研的交互式世界模型 Matrix-Game2.0。作为 Matrix 系列的升级版本,这一模型不仅是业内首个在通用场景下实现实时长序列生成的开源世界模型,更标志着昆仑万维在多模态 AI 领域取得了重要突破。
Matrix-Game2.0在核心能力上實現了質的飛躍,支持以每秒25幀的速度生成連續的視頻內容,時長可達分鍾級,極大地提升了生成內容的連貫性和實用性。該模型增強了對物理規律和場景語義的理解,用戶通過簡單的指令即可自由探索和操控虛擬環境,獲得更強的沈浸感與可控性。
在技术架构方面,Matrix-Game2.0引入了创新的视觉驱动交互建模方案,摒弃了传统依赖语言提示的生成模式。其底层基于3D 因果变分自编码器(VAE)与多模态扩散 Transformer,能够高效压缩时空维度,并根据用户的动作指令逐帧生成符合物理逻辑的动态视觉序列。这种创新架构使模型具备强大的跨域适应性,支持多种场景与视觉风格的模拟。
该模型的发布突破了传统交互式世界模型的瓶颈,展示了其在游戏内容创作、虚拟现实和智能交互系统等领域的广泛应用潜力。在 GTA 和 Minecraft 等游戏场景中,Matrix-Game2.0展现了卓越的交互能力,可生成符合物理逻辑的可交互视频。
昆侖萬維表示,Matrix-Game2.0的持續叠代與開源代表了中國在空間智能研究領域的新裏程碑,將對具身智能體訓練、虛擬遊戲世界的快速搭建以及影視與元宇宙內容生産産生深遠影響。