BAGEL

什么是 BAGEL？

BAGEL 是一款开源统一多模态模型，旨在处理跨文本、图像和视频模态的生成与理解任务。它提供与 GPT-4o 和 Gemini 2.0 等专有系统相当的功能，同时完全支持微调、蒸馏和部署。BAGEL 于 2025 年 5 月 20 日发布，代表了开源多模态 AI 系统的重大进步。

BAGEL 如何工作？

BAGEL 采用混合专家 Transformer（MoT）架构，以最大化从多样多模态信息中学习的能力。它利用两个独立的编码器捕获像素级和语义级图像特征。该模型遵循下一组 Token 预测范式，训练用于预测下一组语言或视觉 Token 作为压缩目标。

关键技术特性

• 多模态预训练：基于大型语言模型初始化，提供基础推理和对话能力
• 交错数据训练：在大规模交错视频和网络数据上进行预训练，实现高保真生成
• 可扩展架构：使用预训练、持续训练和基于数万亿多模态 Token 的监督微调
• 双编码器系统：结合 VAE 和 ViT 特征，提升智能编辑能力

核心能力

多模态对话与理解

BAGEL 可处理混合格式的图像和文本输入与输出。它展现出关于视觉内容的高级对话能力，提供详细的描述、艺术背景和图像历史信息。

逼真图像生成

该模型生成高保真、逼真的图像、视频帧和交错图文内容。其交错数据训练培养了自然的多模态思维链，使模型能够在生成视觉输出前进行推理。

高级图像编辑

BAGEL 自然学会保留视觉身份和精细细节，同时从视频中捕捉复杂视觉运动。凭借从视觉语言模型继承的强大推理能力，它以智能编辑能力超越基本编辑任务。

风格迁移

凭借对视觉内容和风格的深刻理解，该模型可使用最小对齐数据轻松将图像从一种风格转换为另一种风格，或在不同世界间切换。

导航与环境交互

通过从视频数据学习，BAGEL 从真实世界模拟中提炼导航知识，使其能够导航各种环境，包括科幻世界和具有多样旋转与视角的艺术绘画。

组合与推理

BAGEL 从视频、网络和语言数据中学习广泛知识，使其能够执行推理、建模物理动力学、预测未来帧并无缝进行多轮对话。

思考模式

该模型融入思考模式，利用多模态理解增强生成和编辑。通过提示推理，BAGEL 将简短描述转化为具有细致上下文和逻辑一致性的详细连贯输出。

性能基准

BAGEL 在标准理解和生成基准上表现出卓越性能：

理解性能

生成性能

BAGEL 在各种生成任务中总体得分为 0.88，在以下领域超越可比开源模型：

• 单对象生成（0.98）
• 双对象生成（0.95）
• 颜色准确性（0.95）
• 位置理解（0.78）

涌现特性

随着 BAGEL 使用更多多模态 Token 进行扩展，在理解、生成和编辑任务中观察到一致的性能提升。不同能力在不同训练阶段涌现：

• 早期阶段：多模态理解与生成
• 中期阶段：基本编辑能力
• 高级阶段：复杂智能编辑

这种进展表明了一种涌现模式，其中高级多模态推理建立在良好形成的基础技能之上。

实际应用

面向开发者和研究人员

• 针对特定多模态任务进行微调和定制
• 为各种平台部署提炼知识
• 研究高级多模态推理能力

面向内容创作者

• 生成逼真图像和视频内容
• 执行智能图像编辑和风格迁移
• 创建连贯的多模态叙事

面向 AI 系统集成商

• 作为统一多模态解决方案部署
• 用高级 AI 能力增强现有系统
• 开发需要复杂视觉推理的应用

为什么选择 BAGEL？

BAGEL 提供多项显著优势：

开放可访问性

作为开源模型，BAGEL 提供对权重、架构和训练方法的完全访问，与专有系统不同。

可比性能

展示与领先专有多模态系统相当的性能，同时保持开放可访问性。

可扩展架构

MoT 架构允许随着更多多模态数据的可用而持续扩展和改进。

全面能力

从基本生成到高级推理和编辑，BAGEL 在单一模型中提供完整的多模态能力套件。

开始使用 BAGEL

BAGEL 通过多个平台提供：

• GitHub：访问源代码和文档
• HuggingFace：下载模型权重并尝试演示
• 论文：阅读详细技术规格
• 演示：体验实时能力

该模型支持各种部署选项，包括针对特定任务的微调、资源受限环境的蒸馏以及生产系统的全面部署。

未来发展

BAGEL 团队继续致力于使用更多多模态 Token 扩展模型，并探索新的涌现能力。开源性质鼓励社区贡献和改进跨各种多模态应用。