Meta 今天发布了 MovieGen 系列媒体基础AI模型，该模型可根据文本提示生成带声音的逼真视频。 MovieGen 系列包括两个主要模型： MovieGen Video 和 MovieGen Audio。
MovieGen Video 是一个具有 300 亿个参数的变换器模型，可根据单个文本提示生成高质量、高清晰度的图像和视频，生成的视频可长达 16 秒，每秒 16 帧。
MovieGen Audio 是一个 130 亿参数的变压器模型，可以接收视频输入和可选的文本提示，并生成与输入视频同步的长达 45 秒的高保真音频。 这种新的音频模型可以生成环境音效、器乐背景音乐和 Foley 音效。 Meta 声称它在音频质量、视频与音频对齐和文本与音频对齐方面都能提供最先进的效果。
这些模型不仅仅用于创建全新的视频。 它们可用于使用简单的文本提示编辑现有视频。 MovieGen 还允许用户进行本地化编辑，如添加、删除或替换元素，以及进行背景或样式更改等全局更改。 例如，如果您有一段某人扔球的视频，并配有简单的文字提示，您可以将视频改为某人扔西瓜，同时保留原始内容的其余部分。
MovieGen 模型将允许用户创建个性化视频。 通过使用人物图像和文字提示，这些模型可以生成保留人物特征和动作的个性化视频。 Meta 声称，这些模型在视频中的人物保护和自然运动方面提供了最先进的成果。
Meta 声称，与其他视频生成模型（包括 OpenAI Sora 和 Runway Gen-3）相比，这些模型能生成更好的视频。 Meta 目前正与创意专业人士合作，在公开发布之前进一步改进该模型。
了解更多/Meta