新AI模型 Movie Gen的Meta推出了,它可以用声音生成视频

雅加达 - Facebook的母公司Meta Platform Inc.于10月4日星期五宣布,它开发了一款名为Movie Gen的新AI模型。该模型能够根据用户的订单创建逼真的视频和音频剪辑。该工具与OpenAI和ElevenLabs等领先的创业公司开发的生成媒体工具竞争。

Meta分享的例子中,Movie Gen 制作了游泳和冲浪的动物的视频,以及使用人们的原始照片来描述他们在画布上绘画等活动的视频。Movie Gen还能够创建与视频内容同步的背景音乐和音效。

🎥 Today we’re premiering Meta Movie Gen: the most advanced media foundation models to-date.

Developed by AI research teams at Meta, Movie Gen delivers state-of-the-art results across a range of capabilities. We’re excited for the potential of this line of research to usher in… pic.twitter.com/NDOnyKOOyq

— AI at Meta (@AIatMeta) October 4, 2024

今天,我们正在推出Meta Movie Gen:最先进的媒体基础模型。

由Meta的AI研究团队开发的Movie Gen在各种能力上展示了最先进的结果。我们对这一系列研究的潜力感到高兴,在 pic.twitter.com/NDOnyKOOyq

除了制作新视频外,此工具还可用于编辑现有视频。一部编辑后的视频显示,Movie Gen在沙漠中跑步的男人的手中添加了泵,而在另一个视频中,该工具在有人玩滑板板时将干停车位变成水坑。

Meta表示,Movie Gen生成的视频可能长达16秒,而音频可能达到45秒。进行的盲目测试表明,Movie Gen的性能与Runway,OpenAI,ElevenLabs和Kling等其他初创公司的产品竞争。

这一消息是在好莱坞关于如何利用人工智能生成视频技术的争论中宣布的。娱乐业的一些技术人员热衷于使用此工具加速电影制作,而其他人则担心使用似乎在未经许可版权作品中训练有素的系统。

Meta表示,与发布的Llama系列的大型语言模型相比,它还不打算为开发者公开发布MTV Gen。然而,Meta直接与娱乐界和内容创作者合作,MTV Gen计划于明年集成到Meta产品中。

Meta使用授权和公开可用的数据aset混合物来开发Movie Gen。另一方面,据报道,OpenAI曾与好莱坞高管和代理商就类似产品的可能合作伙伴关系进行讨论,尽管尚未宣布交易。