字节即梦Dreamina AI视频生成使用攻略
Dreamina不仅可以生图,还能生成视频。今天,就给大家梳理一下Dreamina AI视频的使用攻略。
1、关于Dreamina
Dreamina是剪映(字节全资子公司)推出的AI创作平台,有AI作图、AI视频、智能画布、故事创作(Beta)4大功能。其中「故事创作」功能还未正式对外开放。
AI作图,最早于去年上线。AI视频于今年3月内测上线,目前已向全社会开放。
Dreamina的AI视频,支持图生视频和文生视频,视频时长3~6s。
使用网址:https://dreamina.jianying.com
2、一些细节
Dreamina的Logo,参考自《盗梦空间》里的陀螺。陀螺越是不倒,梦境就越真实,技术也就越高超。
这个单词,看起来像Dream和China的结合,意思是要做中国AI绘图和视频的造梦师?
网友对即梦logo的创意玩法
2024年5月,Dreamina正式更名为「即梦」。
3、功能页面介绍
进入首页可以看到:
1)侧边导航栏
2)AI绘图功能
3)AI视频功能
4)作品展示
点击「AI视频」,进入操作界面:
1)操作界面,分别有提示词框、运镜控制、视频设置、运动速度、生成按钮等。
2)生成作品展示,可实时预览。
3)修改操作(再次生成、重新编辑、延时6s(会员功能)、对口型(会员功能)、下载)。
也可以文生视频,文生视频的功能与图生视频基本一致。
操作界面详细介绍:
1)可选两种生成模式,图生视频/文生视频。
2)上传图片,可以加尾帧。
3)输入提示词,中文、英文均支持。
4)运镜控制,可选推、拉、旋转以及随机运镜。
5)运动速度,快、慢、适中。一般而言,选择慢速,输出会更稳定。
使用尾帧:上传2张图片,1张开头,1张结尾,视频会在2张图片中进行过渡。
这是我用1张图生成的视频,大家可以看一下。
提示词(只生成一次):海浪拍打着沙滩,一道闪电击中灯塔,天空中下着小雨
整体评价:海浪真实,闪电真实(击中灯塔后还能看到灯光有了强烈变化),而且我没有给“龙卷风旋转”的提示,它就自己动了。除了闪电出场有一点点穿模外,整体效果非常逼真,看起来就像是风暴现场的实拍。
4、收费吗?
不收费。
每天登录赠送60积分,每生成1次视频消耗12积分,生成图片消耗1积分。多多体验即梦的产品和参加活动,可以获得积分赠送。
如果不想赚积分,也可以氪金。月费69元,获得505个积分,可去水印,时长延至6s,以及给视频配音(对口型)。
5、使用注意事项
来自飞书用户5718的分享
6、擅长做什么?
即梦的动效输出能力强,效果逼真,擅于处理一些动效视频。对于一些简单画面的动效,更是能够稳定、流畅输出。
另外,还擅于人物面部特写,比较惊艳。首尾帧相连,衔接也比较自然。
总得来说,擅于制作各种动效视频,就是时长太短。
7、依赖提示词吗?
比较依赖。
目前,所有AI视频生成工具(包括Sora、PixVerse、Runway、Pika等),都还比较依赖提示词Prompt。
Prompt的好坏,将直接影响生成视频的质量。
AI视频的提示词,不同于LLM(大语言模型)的提示词。LLM的提示词着重于让AI扮演一个角色,让它按你设计的workflows进行工作。而AI视频的提示词,主要是将你想要的画面和运动形式用文字描述出来,有点类似于编剧和摄影师的结合。
8、错误的提示词
以下提示词,在AI视频创作中,应避免输入。
1)音效、声音
目前,市面上所有AI视频工具,暂时都不支持声音配置/生成,只能生成视频画面。如果在提示词里加入对声音的要求,AI会很懵。
2)古诗词、文言文、成语、多义词。
中国语言博大精深,比如古诗词、文言文、成语、多义词等,他们饱含丰富的语义,视频AI还无法准确理解这些深奥的语言文字,尤其是文言文这块,应避免使用。
比如“举头望明月”,应给AI转述为“一位中国古代的男人抬头看着天空中的月亮”/“An ancient Chinese man looked up at the moon in the sky”。
3)没有主语
对于AI视频生成,没有主语的提示词等同于没有主体的内容,视频AI根本无法理解你的需求,会极大概率导致生成结果不符合预期。比如:
Input:“电闪雷鸣、狂风暴雨、天旋地转,一艘船,撞击,3D”。AI OS:到底谁在电闪雷鸣,谁又狂风暴雨,谁会天旋地转,船又在哪里,谁在撞击?你能说清楚点吗?
Input:“奔跑,加速度”。AI OS:什么奔跑?什么加速度?我是谁?我在哪?我要干什么?
Input:“生成一个我很火的画面”。AI OS:“生成一个”是什么意思,“我”是谁?什么是“很火”?是着火了烧起来的意思吗?
3)抽象描述。
对视频AI的提示词描述,应尽量具象,避免使用视觉无法具象化的抽象描述。比如:
Input:“请给我生成一个运动视频”。AI OS:“请给我生成一个”是什么意思?“运动视频”又是啥?
Input:“一朵花凋谢,高清画面,你可以自由发挥”。AI OS:“你”是谁?“可以自由发挥”是什么意思?
Input:“如今她已为人父母”。AI OS:“她”又是谁?“为人父母”是什么样的画面?
9、提示词技巧
1)简洁明了
即梦目前仅支持3s视频,应确保输入的提示词描述可以在3s内完成所有动作,超长脚本的输入可能会导致视频生成效果不佳,或只完成了部分脚本的生成。
发给视频AI的提示词,最好是简洁明了的,避免使用过于复杂的语言(如古诗词/抽象描述/长难句等)。多使用简单的词语和句子结构,以确保AI能够正确理解用户的需求。
input:一艘游轮驶离港口。
input:穿着卫衣的男人仰着头在森林里行走。
2)突出主体
突出主体,是视频AI提示词最关键的部分。我们发给AI的提示词,应该突出主体和主体的运动形态,这样才能让AI清楚你想要表达的内容。
比如,想生成一个“头戴VR女孩在房间里走”的视频,那就需要提供女孩的衣着、头戴设备、肢体动作以及背景等信息,这样AI才能够生成出符合你需求的视频,同时降低试错成本(一次生成消耗12积分)。
input:戴着VR设备的女孩,在空荡的房间里向前走
input:一架红色直升机在山谷里飞行,背景是雪山和云层
3)清晰、具体
清晰、具体,与简洁明了并不冲突。这里要求的是提示词尽量清晰、具体,提供足够多的细节(注意需要使用简单、便于理解的词语)。
比如,你想生成一个“微风拂面”的视频。需要提供具体的画面主体、颜色、视角、风的力度等信息,以便于AI理解你的需求,生成出符合预期的视频。
input:微风吹过紫色的花朵和草,仰拍视角,天空中云朵飘动
input:一束粉色的玫瑰在水里漂浮着,花瓣随风晃动,水波荡漾
4)使用常用词
发给视频AI的提示词,尽量使用简单词汇、常用词,不用古诗词、生僻词、抽象词、多义词描述,以确保AI能够正确理解你的意图。
错误input:举头望明月
正确input:一位中国古代的男性抬头望着月亮,男人背对着镜头,忧愁的氛围,夜晚
5)强化一致性
此外,还可以从不同角度描述画面,来强化一致性,避免视频AI跑偏。
比如,你想生成一个“夏天的风吹过女孩的脸”的视频,除了描述风吹过女孩的脸外,也可以辅助描述树叶随风晃动,从多角度强化“风”的一致性。
input:油画女孩被风吹过,树叶的影子晃动
input:飞速向隧道尽头驶去,两侧是布满灯带的隧道
input:女孩看着镜头微微一笑,镜头放大拉近,4K
input:日本男人看着镜头微笑,风吹起树上的樱花,樱花绽放
6)加入少量情感描述
也可以加入少量情感元素,让AI生成更加生动和符合情绪预期的视频。
input:亚洲卷发女孩忧郁地看着镜头,风吹动她的头发
input:地铁在行驶,女孩侧身站在车里思考
10、提示词范本
以下是一个视频AI提示词范本,不仅适用于即梦,也使用其他视频AI。大家可参照,直接填充描述,即可生成高质量视频。
提示词范本:主体A+外观描述+运动,主体B+外观描述+运动,主体C+外观描述+运动。