智谱清言+MJ绘画+SD扩图,视频制作实现镜头的无限放大与穿越效果

一、制作一个长镜头的剧本作为参考

我在智谱清言制作了一个“短视频导演助手”智能体,只要输入起始画面,就可以生成一个长镜头剧本。

我以实例:“起始画面是一位一个长发飘飘的美丽中国女孩,穿着露肩连衣裙,在海边看书”来给大家讲解。

打开“短视频导演助手”智能体,在对话框中输入“起始画面一位一个长发飘飘的美丽中国女孩,穿着露肩连衣裙,在海边看书”。

图片

它为我们生成了5个画面,但是第4个画面和第5个画面转折太快,我就不想要它了。只要前面的3个画面,然后再自己加一些想象创作出第4个画面。

“1、画面聚焦在一位长发飘飘的中国女孩的脸部特写,她专注地阅读着手中的书籍,海风轻轻吹过,拂动她的发丝。

The image focuses on a close-up of a beautiful Chinese girl with flowing long hair, deeply engrossed in reading a book, with the sea breeze gently blowing and rustling her hair.

2、镜头缓缓拉远,女孩穿着一件露肩连衣裙,坐在海边的岩石上,背景是广阔的大海和蓝天。

The camera slowly pulls away to reveal the full body of the girl, dressed in an off-shoulder dress, sitting on a rock by the sea, with the vast ocean and blue sky in the background.

3、随着镜头的进一步放大,女孩周围的沙滩细节逐渐清晰,沙滩上有各种贝壳和小海螺,还有远处嬉戏的孩子。

As the camera zooms in further, the details of the beach around the girl become clearer, with various shells and small sea snails on the sand, and children playing in the distance.

4、这是一个海边渡假村,有沙滩、别墅和森林。It's a seaside resort with beaches, villas and forests.”

二、用AI工具生成第一幅图

用第一关键帧的英文描述生成第一幅画像。这里无所谓用哪个AI绘图工具,但我觉得第一幅画应该要精细,所以我用了MJ绘画

第一幅图的提示词是:

The image focuses on a close-up of a beautiful Chinese girl with flowing long hair, deeply engrossed in reading a book, with the sea breeze gently blowing and rustling her hair.(画面以特写镜头聚焦一位长发飘飘的美丽中国女孩,她正全神贯注地读着一本书,海风轻轻吹拂着她的头发,沙沙作响。)

生成的图像如下:

图片

三、用SD的局部重绘功能扩图

我们用的SD是哩布哩布AI网站(https://www.liblib.art/),打开网站后,点击网页左侧的“在线生图”进入生图操作页面。

设置:在“CHECKPOINT"处选择模型“AWPainting_V1.3",在提示词处把第一个画面描述词粘贴上去:

图片

然后,把页面往下拉,找到“ControINet",在后面的“>”点击打开这个模块,把上一步生成的图片上传上去,把“启用”和“完美像素”打上“V”,在“Control Type”中选择“Inpaint(局部重绘)”,然后,在“预处理器”中选择“inpaint_only+lama”,在“control mode”处选择“更注重提示词”,"图片缩放模式”选择“填充”。如下图所示:

图片

1、在“宽度”处,把宽度调整为1024,高度保持不变,再点击“开始生图”生成1024*512的扩展图。

图片

2、把生成后的图片,点开成大图,然后拖动下面的预览小图到“ControINet"的上传图片处,把宽度改回“512”,高度保持不变,再点击“开始生图”,生成第2张图,这张图片是512*512,我们要把它下载下来。

图片

3、在“ControINet"的上传图片处把生成的第2张512*512的图处上传到这里,再把宽度改回“1024”,其它设置保持不变,点击“开始生图”生成1024*512的扩展图。

图片

4、重复第2步,把第3步生成的扩展图拖动到“ControINet"的上传图片处,生成第3张512*512的图片,也把这张图片保持下来。

5、重复第3步,在“ControINet"的上传图片处把生成第3张512*512的图片上传,把宽度改回“1024”,点击“开始生图”,生成1024*512的扩展图。

不断的重复这样的操作,一个描述提示词大概生成2-3张512*512的图片后,就在提示词处换第二个画面描述。

重复这样的操作,直到把4个画面都分别生成了大概2-3张左右,总图片大概在8-12张左右就可以了。

四、用AI视频生成工具把第一张图片生成视频

视频生成工具有很多,大家随便用哪款视频生成工具都可以,比如我之前的文章中介绍的即梦、可灵AI、Pika、runway、PixVerse 等等都是可以的。这里我用的是Morph Studio

图片

五、视频剪辑合成

把制作好的视频和图片全部导入到剪映中,并把它们都拖到时间轴上。按从后往前的顺序排列,即生成的最后一张12图排在最前面,第一张生成的视频排在最后面

然后在每一个图片的开头打上缩放关键帧,比例为100%;尾部关键帧缩放为200%。如下图所示:

图片

图片

为什么要放大200%呢?因为我们生成图片的时候,512*512图片中间过渡的那张图片是1024,取的就是这个倍数关系。然后我们把每张图片都这样处理一下。

完成后,再把所有全选,点击鼠标右键,在出现的菜单中选择“新建复合片段”:

图片

再点击鼠标右键,选择“复制”,然后,在空白处,再次点击鼠标右键,选择“粘贴”,把复制的这条视频放在主轨的最前面,然后,点击工具栏中的“倒放”按钮,把复制的这条视频倒放。

图片

然后,选中这条视频,在右上方的菜单中点选“变速”。速率随自己去改变。

最后再配上背景乐,在这里我是用了suno生成的歌曲《海边美丽的女孩》。

THE END