Runway Gen-2、Pika Labs、Animate Anyone...2023年度最热AI视频生成工具

AI视频生成工具

随着文生图技术的精进与成熟,文生视频赛道也逐渐变得热闹起来,以Runway为代表的文生视频公司不断涌现。国内外互联网行业的巨头,如谷歌、Meta、微软、阿里、字节同样投入人员和精力参与其中。

Runway Gen-2

图片

Runway是一家成立于2018年的美国AI创企。2023年2月,Runway发布了文本生成视频模型Gen-1和Gen-2,通过Web界面访问Runway官网即可使用。

2023年11月2日,Runway Gen-2迎来了一次里程碑式的更新。以往AI生成视频饱受诟病的画面闪烁、不连贯、扭曲变形等问题,在这次更新后得到很大改善。

现在无论是用Gen-2文生视频还是图生视频,视频的保真度和一致性都有了重大提升,分辨率提升至4K水平。

截至目前,Runway已经发布了大约30余个AI创作工具,包含音频、图片、视频、3D和生成五个大类,涵盖了几乎所有的音视频内容生成和处理工具。其产品已经应用于多部好莱坞大片的特效制作。

2023年7月,Runway在谷歌领投的D轮融资中募集到约1亿美元,估值现已达到15亿美元。

Pika Labs

Pika Labs被称为Runway Gen-2的最强竞品,它的出现拓展了投资圈对AI视频创业领域的想象空间。

2023年11月29日,Pika Labs发布了第一个产品Pika 1.0,并迅速因惊艳的视频生成效果而火出圈。12月26日,Pika 1.0开启免费公测。

Pika Labs的创始人是两位华人,郭文景(CEO)和孟晨琳(CTO),均为来自斯坦福AI实验室的博士生。

11月29日,Pika labs宣布完成5500万美元A轮融资,目前估值已近2亿美元。

Stable Video Diffusion

11月21日,Stability AI上线视频生成模型“Stable Video Diffusion”。该模型基于Stable Diffusion现有的文本转图像模型,能够通过对现有图像进行动画化生成视频。

Stable Video Diffusion提供两个模型,分别为SVD和SVD-XT。其中,SVD将静止图像转换为14帧的576x1024视频,而SVD-XT在相同的架构下将帧数提升至24帧。这两者都能以每秒3到30帧的速度生成视频。

目前,Stable Video Diffusion已经开放了用户候补名单注册。

Morph Studio

 

图片

图片

文生视频领域的“黑马”。Morph Studio是世界第一个推出公众可随意测试text-to-video产品的团队,比Runway开放Gen2公测的时间还早。

和一些仅提供720P免费服务的同类产品不同,Morph Studio从一开始就提供默认1080P以及最长7秒生成时间的免费服务,注册Discord即可免费体验。

Animate Anyone

Animate Anyone是一款可以把静态图像变成动画视频的软件,由阿里巴巴智能计算研究院开发。它可以应用于人类、动漫、卡通等不同类型的角色,只需要提供一张角色图像和一些预设的动作序列,就可以生成逼真的动画视频。

与Animate Anyone类似的工具还有Magic Animate,这是新加坡国立大学和字节跳动联合推出的一款“人体图像动画生成工具”,它同样能够根据用户指定的人物图片和动作序列,生成对应的动效视频。

图片

来源:头号AI玩家

THE END