跑道发布能够从文本描述生成视频的AI模型

Runway是一家共同创建流行的人工智能 图像生成器Stable Diffusion的初创公司,它发布了一个AI模型,可以采取任何文本描述,例如“海龟在天空中飞翔”,并生成三秒钟的相应视频片段。

出于安全和业务原因,Runway目前没有广泛发布该模型,也不会像Stable Diffusion那样开源。所谓的 Gen-2 文本到视频模型最初将通过 Runway 网站上的候补名单在 Discord 上提供。

使用AI从文本输入生成视频并不是什么新鲜事。Meta Platforms和 谷歌   也在去年年底发布了关于文本到视频AI模型的研究论文。“不同之处在于,Runway的文本到视频AI模型可供公众使用,”Runway首席执行官Cristobal Valenzuela说。

“Runway希望创意人员和电影制作人能够使用这款产品,”瓦伦苏埃拉说。

稳定扩散是一种 AI 图像生成器,它使用生成算法来生成逼真的高质量图像。Runway可能使用机器学习技术来训练AI稳定扩散模型并开发这些模型中使用的算法。

运行模型后,用户可以输入文本或图像输入,并根据该输入生成新图像。

除Runway以外的一些公司也拥有类似的技术,通过使用AI从文本描述中生成视频或图像,它们是:

OpenAI:这家领先的人工智能研究公司发布了几种能够从特定描述生成图像和文本的人工智能模型,例如DALL-E和CLIP。

谷歌:谷歌也有类似的技术,比如推出能够从文本描述生成视频的AI Backscreen。

英伟达:这家科技公司正在开发人工智能技术,从2D照片中创建逼真的3D模型。

IBM:IBM还在开发人工智能技术,以产生称为“生成对抗网络”(GAN)的逼真图像。

但是,需要注意的是,从文本描述生成视频或图像的AI技术仍处于开发阶段,此类公司发布的某些模型可能无法提供给普通用户。