字节即梦Dreamina AI视频生成使用攻略

Dreamina不仅可以生图,还能生成视频。今天,就给大家梳理一下Dreamina AI视频的使用攻略

1、关于Dreamina

Dreamina是剪映(字节全资子公司)推出的AI创作平台,有AI作图、AI视频、智能画布、故事创作(Beta)4大功能。其中「故事创作」功能还未正式对外开放。

图片

AI作图,最早于去年上线。AI视频于今年3月内测上线,目前已向全社会开放。

Dreamina的AI视频,支持图生视频和文生视频,视频时长3~6s。

使用网址:https://dreamina.jianying.com

2、一些细节

Dreamina的Logo,参考自《盗梦空间》里的陀螺。陀螺越是不倒,梦境就越真实,技术也就越高超。

图片

这个单词,看起来像Dream和China的结合,意思是要做中国AI绘图和视频的造梦师?

图片

网友对即梦logo的创意玩法

2024年5月,Dreamina正式更名为「即梦」。

3、功能页面介绍

进入首页可以看到:

图片

1)侧边导航栏

2)AI绘图功能

3)AI视频功能

4)作品展示

点击「AI视频」,进入操作界面:

图片

1)操作界面,分别有提示词框、运镜控制、视频设置、运动速度、生成按钮等。

2)生成作品展示,可实时预览。

3)修改操作(再次生成、重新编辑、延时6s(会员功能)、对口型(会员功能)、下载)。

也可以文生视频,文生视频的功能与图生视频基本一致。

图片

操作界面详细介绍:

图片

1)可选两种生成模式,图生视频/文生视频。

2)上传图片,可以加尾帧。

3)输入提示词,中文、英文均支持。

4)运镜控制,可选推、拉、旋转以及随机运镜。

5)运动速度,快、慢、适中。一般而言,选择慢速,输出会更稳定。

使用尾帧:上传2张图片,1张开头,1张结尾,视频会在2张图片中进行过渡。

图片

这是我用1张图生成的视频,大家可以看一下。

提示词(只生成一次):海浪拍打着沙滩,一道闪电击中灯塔,天空中下着小雨

整体评价:海浪真实,闪电真实(击中灯塔后还能看到灯光有了强烈变化),而且我没有给“龙卷风旋转”的提示,它就自己动了。除了闪电出场有一点点穿模外,整体效果非常逼真,看起来就像是风暴现场的实拍。

4、收费吗?

不收费。

每天登录赠送60积分,每生成1次视频消耗12积分,生成图片消耗1积分。多多体验即梦的产品和参加活动,可以获得积分赠送。

如果不想赚积分,也可以氪金。月费69元,获得505个积分,可去水印,时长延至6s,以及给视频配音(对口型)。

图片

5、使用注意事项

图片

来自飞书用户5718的分享

6、擅长做什么?

即梦的动效输出能力强,效果逼真,擅于处理一些动效视频。对于一些简单画面的动效,更是能够稳定、流畅输出。

另外,还擅于人物面部特写,比较惊艳。首尾帧相连,衔接也比较自然。

总得来说,擅于制作各种动效视频,就是时长太短。

7、依赖提示词吗?

比较依赖。

图片

目前,所有AI视频生成工具(包括Sora、PixVerse、Runway、Pika等),都还比较依赖提示词Prompt。

Prompt的好坏,将直接影响生成视频的质量。

AI视频的提示词,不同于LLM(大语言模型)的提示词。LLM的提示词着重于让AI扮演一个角色,让它按你设计的workflows进行工作。而AI视频的提示词,主要是将你想要的画面和运动形式用文字描述出来,有点类似于编剧和摄影师的结合。

8、错误的提示词

以下提示词,在AI视频创作中,应避免输入。

1)音效、声音

目前,市面上所有AI视频工具,暂时都不支持声音配置/生成,只能生成视频画面。如果在提示词里加入对声音的要求,AI会很懵。

2)古诗词、文言文、成语、多义词。

中国语言博大精深,比如古诗词、文言文、成语、多义词等,他们饱含丰富的语义,视频AI还无法准确理解这些深奥的语言文字,尤其是文言文这块,应避免使用。

比如“举头望明月”,应给AI转述为“一位中国古代的男人抬头看着天空中的月亮”/“An ancient Chinese man looked up at the moon in the sky”。

3)没有主语

对于AI视频生成,没有主语的提示词等同于没有主体的内容,视频AI根本无法理解你的需求,会极大概率导致生成结果不符合预期。比如:

Input:“电闪雷鸣、狂风暴雨、天旋地转,一艘船,撞击,3D”。AI OS:到底谁在电闪雷鸣,谁又狂风暴雨,谁会天旋地转,船又在哪里,谁在撞击?你能说清楚点吗?

Input:“奔跑,加速度”。AI OS:什么奔跑?什么加速度?我是谁?我在哪?我要干什么?

Input:“生成一个我很火的画面”。AI OS:“生成一个”是什么意思,“我”是谁?什么是“很火”?是着火了烧起来的意思吗?

3)抽象描述。

对视频AI的提示词描述,应尽量具象,避免使用视觉无法具象化的抽象描述。比如:

Input:“请给我生成一个运动视频”。AI OS:“请给我生成一个”是什么意思?“运动视频”又是啥?

Input:“一朵花凋谢,高清画面,你可以自由发挥”。AI OS:“你”是谁?“可以自由发挥”是什么意思?

Input:“如今她已为人父母”。AI OS:“她”又是谁?“为人父母”是什么样的画面?

9、提示词技巧

1)简洁明了

即梦目前仅支持3s视频,应确保输入的提示词描述可以在3s内完成所有动作,超长脚本的输入可能会导致视频生成效果不佳,或只完成了部分脚本的生成。

发给视频AI的提示词,最好是简洁明了的,避免使用过于复杂的语言(如古诗词/抽象描述/长难句等)多使用简单的词语和句子结构,以确保AI能够正确理解用户的需求。

input:一艘游轮驶离港口。

图片

input:穿着卫衣的男人仰着头在森林里行走。

图片

2)突出主体

突出主体,是视频AI提示词最关键的部分。我们发给AI的提示词,应该突出主体和主体的运动形态,这样才能让AI清楚你想要表达的内容。

比如,想生成一个“头戴VR女孩在房间里走”的视频,那就需要提供女孩的衣着、头戴设备、肢体动作以及背景等信息,这样AI才能够生成出符合你需求的视频,同时降低试错成本(一次生成消耗12积分)。

input:戴着VR设备的女孩,在空荡的房间里向前走

input:一架红色直升机在山谷里飞行,背景是雪山和云层

图片

3)清晰、具体

清晰、具体,与简洁明了并不冲突。这里要求的是提示词尽量清晰、具体,提供足够多的细节(注意需要使用简单、便于理解的词语)。

比如,你想生成一个“微风拂面”的视频。需要提供具体的画面主体、颜色、视角、风的力度等信息,以便于AI理解你的需求,生成出符合预期的视频。

input:微风吹过紫色的花朵和草,仰拍视角,天空中云朵飘动

图片

input:一束粉色的玫瑰在水里漂浮着,花瓣随风晃动,水波荡漾

图片

4)使用常用词

发给视频AI的提示词,尽量使用简单词汇、常用词,不用古诗词、生僻词、抽象词、多义词描述,以确保AI能够正确理解你的意图。

错误input:举头望明月

图片

正确input:一位中国古代的男性抬头望着月亮,男人背对着镜头,忧愁的氛围,夜晚

图片

5)强化一致性

此外,还可以从不同角度描述画面,来强化一致性,避免视频AI跑偏。

比如,你想生成一个“夏天的风吹过女孩的脸”的视频,除了描述风吹过女孩的脸外,也可以辅助描述树叶随风晃动,从多角度强化“风”的一致性。

input:油画女孩被风吹过,树叶的影子晃动

图片

input:飞速向隧道尽头驶去,两侧是布满灯带的隧道

图片

input:女孩看着镜头微微一笑,镜头放大拉近,4K

图片

input:日本男人看着镜头微笑,风吹起树上的樱花,樱花绽放

图片

6)加入少量情感描述

也可以加入少量情感元素,让AI生成更加生动和符合情绪预期的视频。

input:亚洲卷发女孩忧郁地看着镜头,风吹动她的头发

图片

input:地铁在行驶,女孩侧身站在车里思考

图片

10、提示词范本

以下是一个视频AI提示词范本,不仅适用于即梦,也使用其他视频AI。大家可参照,直接填充描述,即可生成高质量视频。

提示词范本:主体A+外观描述+运动,主体B+外观描述+运动,主体C+外观描述+运动。

THE END