Make-A-Character:文本生成3D人物AI工具

一款AI 3D人物生成工具:Make-A-Character。Make-A-Character可以通过一句话描述人的脸型、五官、发型特征的文本提示语Prompt,就可以高效率、规模化地生成具备全栈式美术能力的超写实3D人物。生成结果包含人头人体,配饰服装。Make-A-Character同时还支持表情动画驱动,让3D人物栩栩如生地动态化展示。

01.  Make-A-Characte


Make-A-Character是一个用户友好的框架,它利用了大语言模型和视觉模型,来理解用户的文本Prompt意图,并生成中间的图像,然后再通过一系列的人类视觉感知和3D生成模块,来创作出高质量的3D人物模型。并且为用户提供了一个简单易用操作,在2分钟内就能创作出符合期望的、可控的、真实的、完整的3D人物。同时Make-A-Character还可以轻松地与现有的CG pipeline集成,实现动态的表现力。

Make-A-Character使用中用户可以自定义详细的面部特征,包括脸型,眼睛,虹膜颜色,发型和颜色,眉毛,嘴巴,鼻子等文本描述的添加。这些描述提示语是通过直观的文本提示来实现的,为用户提供了一个个性化的角色创作的界面。Make-A-Character同时支持英文和中文的文本提示Prompt。

 02.  模型训练


Make-A-Character框架利用大语言模型(LLM)提取各种面部属性(例如,脸型,眼睛形状,嘴巴形状,发型和颜色,眼镜类型)。然后将这些语义属性映射到相应的视觉线索,这些又指导使用稳定扩散和ControlNet生成参考肖像图像。通过一系列的2D面部解析和3D生成模块,目标面部的网格和纹理被生成并组装,同时还配备了额外的匹配配件。参数化表示使生成的3D头像易于动画化。

图片

Make-A-Character生成的人物是基于高质量的精确人类标注数据集训练的。Make-A-Character创造的每一个人物都是一个完整的模型,包括眼睛,舌头,牙齿,全身,和服装。这种全面的方法确保了Mach的人物可以在各种情况下立即使用,而不需要额外的建模。Make-A-Character创作的人物具备复杂的骨骼绑定,可以支持标准的动画。这有助于3D人物的逼真外观,并增强了在各种动态场景中的适应性。

THE END