理海大学与微软联手打造Mora:AI视频生成新突破,挑战Sora模型的极限!
来源: | 作者:DE.News | 发布时间: 2024-04-12 | 313 次浏览 | 分享到:

关键字:Mora AI智能体框架 Sora视频模型 视频生成 文本到视频生成 图像到视频生成 视频编辑 视频拼接 模拟数字世界 开源模型 视觉AI智能体 高分辨率视频 12秒视频生成 多智能体框架 视频生成任务 视频质量得分 视频内容创作 技术创新


理海大学与微软团队合作开发的新型多AI智能体框架Mora,旨在复现并扩展Sora视频模型的能力。


Mora通过整合多个SOTA(State of the Art)视觉AI智能体,成功模拟了Sora的视频生成能力,并在多个任务中取得了接近Sora的表现。

Mora的能力包括文本到视频生成、基于文本条件的图像到视频生成、扩展已生成视频、视频到视频编辑、拼接视频和模拟数字世界。


Mora在文本到视频生成任务中的表现尤为突出,其生成的视频质量得分仅次于Sora,超过了当前最好的开源模型。

尽管在整体性能上与Sora仍有差距,但Mora已经证明了其在视频生成领域的潜力和有效性。Mora能够根据文字提示生成高分辨率、时间连贯的视频,分辨率为1024×576,时长12秒,共75帧。


Mora的多智能体框架通过将视频生成过程分解为多个子任务,并为每个任务指派专门的智能体,来灵活地完成一系列视频生成任务。

这种方法提供了出色的编辑灵活性和视觉真实度,同时保持了文本到图像模型中的视觉多样性、风格和质量。


Mora的开源特性对AI社区是一个重要的贡献,它为未来的研究奠定了基础,并可能促进高级视频生成技术的普及和合作创新。

Mora也存在一些局限性,包括对高质量视频数据集的依赖、视频质量与长度的差距、指令跟随能力的限制以及与人类视觉偏好的对齐问题。


Mora的推出为AI视频生成领域带来了新的机遇和挑战,它的成功开发和开源性质预示着AI技术在视频内容创作和编辑方面的进一步发展。


返回
深度元素科技,您的信赖之选