Pika和Runway强大对手!文字生成视频AI模型:DynamiCrafter

2024-03-0608:51:30AI绘画与短视频剪辑Comments255 views字数 883阅读模式

AI视频生成领域有两大公司,一个是Pika,另一个是Runway。这两个公司是目前AI视频生成领域的领头羊,效果也可以说是最好的了。虽然他们很优秀,但是产品依旧无法大规模使用,原因就是生成的视频动效不可控,随机生成的效果大多数时候都不符合我们的需求!文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

今天,我给大家介绍一个新的AI视频生成项目,它能通过提示词生成视频动效,并且能生成符合逻辑的连贯视频!文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

这个AI视频模型就是: DynamiCrafter文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

Pika和Runway强大对手!文字生成视频AI模型:DynamiCrafter文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

DynamiCrafter是由香港中文大学和腾讯AI Lab的研究团队开发的一种动画化开放域图像的技术,它可以根据文本提示,利用预训练的视频扩散模型,为任意的静态图像生成逼真的动态内容。DynamiCrafter的主要创新点有以下几个方面:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

  • 它可以处理开放域的图像,不受场景或动作的限制,只要有合适的文本提示,就可以生成各种各样的动画效果。
  • 它可以保留图像的细节和质量,不会出现模糊或失真的现象,生成的视频与输入的图像高度一致。
  • 它可以生成逻辑和自然的运动,不会出现不符合物理规律或人类常识的情况,生成的视频与文本提示高度契合。

废话不多说,我们看看效果!文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

 文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

Pika和Runway强大对手!文字生成视频AI模型:DynamiCrafter文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

Pika和Runway强大对手!文字生成视频AI模型:DynamiCrafter文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

Pika和Runway强大对手!文字生成视频AI模型:DynamiCrafter文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

Pika和Runway强大对手!文字生成视频AI模型:DynamiCrafter文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

Pika和Runway强大对手!文字生成视频AI模型:DynamiCrafter文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

Pika和Runway强大对手!文字生成视频AI模型:DynamiCrafter文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

 文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

 文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

可以看出,这几个视频动画效果还是很不错的!动画连贯,符合逻辑。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

DynamiCrafter的工作原理文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

首先,它会将输入的图像投影到一个与文本对齐的丰富的上下文表示空间,使用一个查询变换器,让视频模型能够以一种兼容的方式理解图像的内容。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

然后,它会将完整的图像与初始的噪声拼接起来,再输入到扩散模型中,利用扩散模型的运动先验,生成动态的视频序列。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

Pika和Runway强大对手!文字生成视频AI模型:DynamiCrafter文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

DynamiCrafter的效果非常惊艳,它可以为各种类型的图像生成动画,无论是人物、动物、风景、卡通,还是抽象的图案,都可以轻松应对。我个人对它的评价是非常好用!文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

代码地址:
https://github.com/Doubiiu/DynamiCrafter文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

项目地址:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

https://doubiiu.github.io/projects/DynamiCrafter/文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

体验地址:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html

https://huggingface.co/spaces/Doubiiu/DynamiCrafter文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jianji/61656.html
  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/jianji/61656.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定