1月28日，国际顶级学术期刊《自然》在线发表了一项来自我国科研机构的多模态大模型研究成果——“通过预测下一个词元进行多模态学习的多模态大模型”。这是我国主导的大模型研究首次登上《自然》正刊，标志着我国在人工智能基础研究领域取得重大突破，为全球多模态智能系统的发展提供了全新思路。
图片来源：编辑网图片分享系统
自回归路线重塑语言模型，多模态统一成新挑战
自2018年以来，以“预测下一个词元”（Next-token Prediction, NTP）为核心的自回归技术路线，成为语言大模型发展的关键引擎。这一方法通过预测序列中的下一个元素，使模型能够自主学习语言规律，推动了ChatGPT等生成式人工智能应用的爆发式增长，并引发了关于通用人工智能（AGI）早期迹象的广泛讨论。
然而，在多模态学习领域，自回归路线的潜力长期未被充分验证。现有主流多模态模型多依赖对比学习、扩散模型等专门技术路线，例如通过对比图像与文本的相似性进行训练，或利用扩散模型生成图像。这些方法虽在特定任务中表现优异，但存在架构分散、训练复杂度高、跨模态迁移能力弱等局限。能否通过单一自回归路线统一文本、图像、视频等多模态数据，构建原生多模态大模型，成为学术界与产业界共同关注的未解难题。
Emu3模型突破：单一架构统一多模态学习
此次发表的研究提出了一种名为Emu3的创新模型，首次验证了自回归路线在多模态学习中的普适性。该模型通过将图像、文本和视频统一离散化为“词元”（token）序列，构建了一个共享的表示空间。在此基础上，Emu3采用单一的Transformer架构，在多模态混合数据上从零开始联合训练，无需依赖预训练的单一模态模型或专门设计的模块。
实验表明，Emu3在生成与感知任务中均展现出优异性能：在图像生成、视频预测等生成任务上，其结果的质量与使用专门路线训练的模型相当；在图像分类、视觉问答等感知任务中，准确率亦达到行业领先水平。更关键的是，Emu3的架构简洁性显著降低了训练与部署成本，为构建可扩展、高效的多模态智能系统奠定了基础。
《自然》编辑点评：推动多模态智能系统范式革新
《自然》期刊编辑在点评中指出，Emu3的研究价值在于“仅通过预测下一个词元，便实现了文本、图像与视频的大规模统一学习”。这一成果挑战了多模态学习需依赖专门技术路线的传统认知，为开发通用人工智能提供了重要方向。
编辑进一步强调，Emu3的架构设计体现了“简洁性”与“统一性”的优势。相比现有模型需针对不同模态设计复杂机制，Emu3通过单一自回归目标简化训练流程，同时保持跨模态理解与生成能力。这种范式革新不仅降低了技术门槛，更有助于推动多模态大模型从实验室走向实际应用，例如在智能助手、内容创作、医疗影像分析等领域释放潜力。
技术细节：离散化与联合训练成关键
Emu3的核心创新在于多模态数据的离散化表示与联合训练策略。研究团队将图像与视频分割为视觉词元序列，与文本词元对齐，形成统一的多模态输入。在训练过程中，模型通过预测下一个词元（无论是文本、图像还是视频）来优化参数，从而同时学习模态内与跨模态的语义关联。
例如，在训练数据包含“一只猫在草地上玩耍”的文本与对应视频时，Emu3会学习如何从文本词元预测后续视频帧的视觉词元，或从视频词元生成描述性文本。这种双向预测机制增强了模型对多模态信息的综合理解能力。
未来展望：开启通用人工智能新路径
业内专家认为，Emu3的发表标志着多模态大模型研究进入新阶段。其成功验证了自回归路线的普适性，为后续研究提供了可复现的基准框架。随着模型规模的进一步扩大与数据质量的提升，基于Emu3的技术路线有望在跨模态推理、复杂场景理解等任务中突破现有瓶颈。
此外，该研究对人工智能伦理与安全亦具有启示意义。统一的架构设计便于对模型行为进行全局监控与调试，为降低生成内容的偏见与风险提供了技术抓手。
此次我国科研团队在《自然》正刊的突破，不仅彰显了我国在人工智能基础研究领域的实力，更为全球学术界与产业界贡献了中国智慧。随着Emu3等创新成果的持续涌现，多模态智能系统的规模化应用或将加速到来，重塑人类与数字世界的交互方式。
