简介
Movie Gen是由Meta（原Facebook公司）推出的一款AI视频音频生成模型。它能够通过简单的文本输入生成高质量的视频和音效，还支持精准的视频编辑。用户可以输入文本描述生成高清视频、上传图像制作个性化视频，或根据指令修改视频内容。Movie Gen还可以生成与视频同步的背景音乐和音效，适合内容创作者、电影制作人等使用。
Movie Gen ai官网: https://ai.meta.com/research/movie-gen/
Meta公司在10月4日发布了Movie Gen最新研究成果，包含一系列能生成1080p视频和同步音频的基础模型，支持多种宽高比。这一成果标志着多模态LLM产业级应用方面取得了重要进展。与Sora不同，Meta通过一篇92页的论文公开了Movie Gen的架构和训练细节，包括架构、训练方法、数据管理、评估、并行训练和推理优化等。
Movie Gen模型系列：基础模型能生成与文本提示相符的视频和音频，实现视频个性化、编辑和音频生成 视频生成：30B参数的变换器模型生成长达16秒视频。个性化视频包含特定人物和丰富细节 精确视频编辑：模型能根据文本提示执行添加、删除或替换元素的编辑任务 音频生成：13B参数模型生成长达45秒高质量音频，与视频同步 技术革新：论文介绍了架构、训练、数据、评估和推理优化等方面的技术创新 - A/B人类评估：人类评估者更偏好Movie Gen模型结果，显示其在媒体生成任务上的先进性
主要功能和特色
Movie Gen的主要功能包括：
文本生成视频：用户只需输入一段文本描述，Movie Gen就可以生成独特的高清视频，最长可达16秒。
个性化视频生成：用户可以上传自己的图片，Movie Gen将生成包含该人物的个性化视频。
精准视频编辑：通过文本指令，Movie Gen可以对视频进行局部或全局的编辑，修改指定的元素。
音频生成：Movie Gen还可以生成与视频同步的高质量音效和配乐，支持最长45秒的音频生成。
