腾讯文本转视频生成和编辑工具包：VideoCrafter

项目简介

使用 VideoCrafter 拍摄您的电影！

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51052.html

亮点：VideoControl支持不同分辨率和8秒文本转视频生成

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51052.html

VideoCrafter 是一个用于制作视频内容的开源视频生成和编辑工具箱。
目前包括以下三类模型：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51052.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51052.html

1. Base T2V：通用文本到视频生成

我们提供基于潜在视频扩散模型（LVDM）的基本文本到视频（T2V）生成模型。它可以根据输入的文本描述合成逼真的视频。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51052.html

2. VideoLoRA：使用 LoRA 生成个性化文本到视频

基于预训练的 LVDM，我们可以通过在描述某个概念的一组视频剪辑或图像上进行微调来创建我们自己的视频生成模型。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51052.html

我们采用 LoRA 来实现微调，因为它易于训练并且需要较少的计算资源。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51052.html

通过提供描述视频内容的句子以及 LoRA 触发词（在 LoRA 训练期间指定），它可以生成具有所需风格（或主题/概念）的视频。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51052.html

3. VideoControl：具有更多条件控制的视频生成

为了增强T2V模型的可控能力，我们受T2I适配器的启发，开发了条件适配器。通过将轻量级适配器模块插入到T2V模型中，我们可以获得具有更详细的控制信号（例如深度）的生成结果。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51052.html

我们将不断更新此存储库并添加更多功能和模型。敬请期待！文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51052.html

安装文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51052.html

1.通过Anaconda安装环境（推荐）

conda create -n lvdm python=3.8.5conda activate lvdmpip install -r requirements.txt

2. 手动安装环境

conda create -n lvdm python=3.8.5conda activate lvdmpip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 -f https://download.pytorch.org/whl/torch_stable.htmlpip install pytorch-lightning==1.8.3 omegaconf==2.1.1 einops==0.3.0 transformers==4.25.1pip install opencv-python==4.1.2.30 imageio==2.9.0 imageio-ffmpeg==0.4.2pip install av moviepypip install -e .

3.使用xFormers安装环境

对于节省 GPU 内存很有用文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51052.html

conda create -n lvdm python=3.8.5conda activate lvdmpip install -r requirements_xformer.txt