Motionshop简介
阿里通义实验室发布了用3D角色替换视频中人物角色的框架Motionshop，旨在实现AI自动识别视频中的运动主体人物，并一键替换成有趣的3D角色模型，生成与众不同的AI视频。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/60117.html
Motionshop框架由两部分组成：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/60117.html
- • 视频处理流程，用于提取修复后的背景视频序列。
- • 姿态评估和渲染流程，用于生成头像视频序列。通过并行化两个流程，以及使用高性能的光线追踪渲染器TIDE技术，实现了整个过程在几分钟内就能完成。
Motionshop工作原理
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/60117.html
Motionshop包括以下阶段：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/60117.html
- • Character Detection: 通过将文本信息与现有的闭集检测器紧密融合，基于Transformer框架，实现零样本目标检测。
- • Segmentation & Tracking: 在检测到目标后，使用一种视频对象分割跟踪方法来跟踪像素级的目标区域，该方法由广泛使用的零样本分割方法SAM初始化和优化。与直接使用SAM相比，时序对应性能得到了提升，以更好地处理视频分割任务。
- • Inpainting: 对图像区域进行视频修复。具体，使用一种循环流完成方法来恢复损坏的流程，使用双域传播方法在图像域和特征域上增强全局和局部的时序一致性，同时，使用一种稀疏策略，只考虑一部分token，提高效率，降低内存消耗，同时保持性能。
- • Pose Estimation: 对角色视频序列应用CVFFS方法来估算稳定的人体姿态。使用SMPL人体模型来表示3D人体，这是一种广泛使用的参数化模型，用于人体形状和姿态估计。
- • Animation Retargeting: 将评估的形状和姿态重新映射到选择的3D模型上。然后，将这个模型像原始视频中的角色一样自然流畅地播放。
- • Light Estimation: 在新的3D模型替换角色时，需要与原始视频的光照条件保持一致。Motionshop应用光照评估来更好地将新的3D模型和原始场景融合。
- • Rendering: 使用一种路径追踪渲染引擎TIDE来渲染新的3D模型。与精确系统相结合，辅以motion blur, temporal anti-aliasing, temporal denoising等算法。
- • Composing: 最后，将渲染的图像与原始视频合成，生成最终的视频。
Motionshop在线体验
用户可以在modelscope体验。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/60117.html
- • 体验地址：https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary
- • 项目主页：https://aigc3d.github.io/motionshop/
体验步骤
- • 1：上传一个包含完整人物的视频。
- • 2：选择视频中要替换的人物。
- • 3：选择要替换的虚拟角色模型并点击生成，大约等待10分钟即可生成结果。
体验效果
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/60117.html