北京大学袁粒团队联合兔展发起 —— 旨在复现 OpenAI 的视频生成模型 Sora。由于资源有限，无法进行完整训练，因此希望通过开源社区筹集资源进行训练。

本项目希望通过开源社区的力量复现 Sora，由北大 - 兔展 AIGC 联合实验室共同发起，当前资源有限仅搭建了基础架构，无法进行完整训练，希望通过开源社区逐步增加模块并筹集资源进行训练，当前版本离目标差距巨大，仍需持续完善和快速迭代。

整体框架上，Open-Sora 由以下部分组成：

1. Video VQ-VAE：这是一个压缩视频到时间和空间维度的潜在表示的组件。它可以将高分辨率视频压缩成低维度的表示，便于后续的处理和生成。

2.Denoising Diffusion Transformer：去噪扩散变换器（Denoising Diffusion Transformer）这个组件用于从潜在表示中生成视频，通过逐步减少噪声来恢复视频的详细内容。

3.Condition Encoder：条件编码器（Condition Encoder）支持多种条件输入，允许模型根据不同的文本描述或其他条件生成视频内容。

更多细节查看：