Meta介绍制作视频,这是一种可以从文本制作视频的技术

雅加达 - 刚刚推出的人工智能视频生成器的制作视频,可以从Meta的文本或图像指令创建新的视频内容。

这些工具类似于现有的图像合成工具,如DALL-E和稳定扩散,它们可以创建现有视频的变体。

顾名思义,Make-A-Video是一种新的AI系统,用户可以在其中将文本指令转换为简短且高质量的视频剪辑。

在其公告中,Meta展示了由文本制作的视频示例,例如当一对年轻夫妇在倾盆大雨中行走时,以及熊娃娃画的肖像。

在功能上,Make-A-Video的工作方式与Meta去年7月推出的Make-A-Scene相同,依靠自然语言处理和生成神经网络的混合将非视觉线索转换为图像,只是它以不同的格式绘制内容。

“我们的直觉很简单,世界是什么样的,它如何在成对的文本数据中描述,并了解世界如何从无监控的视频片段中移动,”Meta研究小组在昨天发表的一篇研究论文中写道,该论文引自Engadget,9月30日星期五。

这样做使研究团队能够减少训练Make-A-Video模型所需的时间,并消除对配对文本 - 视频数据的需求,同时保持多样性,例如美学多样性,梦幻般的描绘以及当今图像制作模型中的其他内容。

制作视频还能够从静态源拍摄照片并消灭它们。例如,海龟的照片经过AI模型的处理后,可以在短视频中看到它们游泳。

Make-A-Video背后的主要技术以及为什么它比一些专家认为的更早出现,是它通过文本到图像合成来构建现有的工作。

“在各个方面,空间分辨率,对文本的忠诚度和质量,Make-A-Video在文本到视频的生成中设定了一个新的,正如定性和定量措施所定义的那样,”研究人员说。

像大多数AI Meta研究一样,Make-A-Video作为一个开源项目发布,“我们正在与社区公开分享这些研究和代际AI结果,以获得他们的反馈,并将继续使用我们的AI框架,负责完善和发展我们对这项不断发展的技术的方法,”Meta首席执行官Mark Zuckerberg说。

Meta尚未就Make-A-Video如何或何时公开发布或谁可以访问它发布任何公告。但是,该公司提供了一个注册表,如果人们有兴趣在将来尝试,可以填写该注册表。