文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
【新智元导读】谷歌的新AI模型，直接解决了AI换装的两大难题——既保留衣服细节，又能随意换姿势。以后再剁手，恐怕要更容易了！文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
一键换装，被谷歌给实现了！文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
这个AI试衣模型TryOnDiffusion，你只要给它一张自己的全身照，和服装模特的照片，就能知道自己穿上这件衣服之后是什么样子了。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
主打的就是一个真实。所以，是真人版奇迹暖暖吧？文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
按说，各种换装的AI早就有不少了，谷歌的这个AI模型究竟有何突破呢？文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
项目地址：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
关键就在于，他们提出了一种基于扩散的框架，把两个Parallel-Unet统一了起来。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
在以前，这种模型的关键挑战就在于，如何既保留衣服细节，又能将衣服变形，同时还能适应不同主体的姿势和形状，让人感觉不违和。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
以前的方法无法同时做到这两点，要么只能保留衣服细节，但无法处理姿势和形状的变化，要么就是可以换姿势，但服装细节会缺失。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
而TryOnDiffusion因为统一了两个UNet，就能够在单个网络中保留衣服细节，并且对衣服进行重要的姿势和身体变化。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
可以看到，衣服在人物上的变形极其自然，并且衣服的细节也还原得非常到位。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
话不多说，让我们直接看看，谷歌的这个「AI试穿」到底有多厉害！文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
用AI生成试穿图像文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
具体来说，Virtual Try-On（VTO）可以向顾客展示衣服在不同体型和尺寸的真实模特身上的效果。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
虚拟服装试穿中，有许多微妙但对于来说至关重要的细节，比如衣服的垂坠、折叠、紧贴、伸展和起皱的效果。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
此前已有的技术，比如geometric warping（几何变形），可以对服装图像进行剪切和粘贴，然后对其进行变形以适配身体的轮廓。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
但这些功能，很难让衣服妥帖地适应身体，并且会存在一些视觉缺陷，比如错位的褶皱，会让衣服看起来畸形和不自然。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
因此，谷歌的研究者致力于从头开始生成服装的每个像素，以生成高质量、逼真的图像。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
他们采用的技术是一种全新的基于Diffusion的AI模型，TryOnDiffusion。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
扩散是逐渐向图像添加额外像素（或「噪声」），直到它变得无法识别，然后完全消除噪声，直到原始图像以完美的质量重建。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
像Imagen这样的文本到图像模型，就是使用的来自大语言模型LLM的扩散加文本，可以仅根据输入的文本，就能生成逼真的图像。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
Diffusion是逐渐向图像添加额外像素（或「噪声」），直到它变得无法识别，然后再完全消除噪声，直到原始图像以完美的质量重建。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
在TryOnDiffusion中，不需要使用文字，而是使用一组成对的图片：一张图片是衣服（或者穿着衣服的模特），一张图片是模特。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
每张图片都会被发送到自己的神经网络（U-net），并通过被称为「交叉注意力」的过程来相互共享信息，输出新的穿着这件衣服的模特的逼真图像。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
这种基于图像的Diffusion和交叉注意力的结合技术，构成了这个AI模型的核心。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
VOT功能让用户可以在符合自己身材的模特身上渲染展示上衣效果。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
海量高质量数据训练文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
谷歌为了使VTO功能尽可能提供真实的效果并且真的能帮助用户挑选衣服，对这个 AI 模型进行了大量的训练。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
但是，谷歌没有使用大语言模型来训练它，而是利用了谷歌的购物图。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
这个数据集拥有全世界最全面，同时也是最新的产品、卖家、品牌、评论和库存数据。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
谷歌使用了多对图像训练模型，每对图像由两种不同姿势的穿着衣服的模特图组成。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
比如，一个穿着衬衫的人侧身站立的图像和另一个向前站立的图像。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
谷歌专门的扩散模型将图像输入到他们自己的神经网络（U-net）来生成输出：穿着这件衣服的模特的逼真图像。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
在这对训练图像中，模型学习将侧身姿势的衬衫形状与面朝前姿势的图相匹配。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
反过来也一样，直到它可以从各个角度生成该人穿着衬衫的逼真图像。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
为了追求更好的效果，谷歌使用数百万不同服装和人物的随机图像对多次重复了这个过程。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
结果就是我们在文章开头的图片呈现出来的效果。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
总之，TryOnDiffusion既保留了衣服的细节效果，也适配了新模特的身材和姿势，谷歌的技术做到了二者兼得，效果相当逼真。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
技术细节文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
在一张展示一个模特的身体的图片，另一张展示另一个穿着某件衣服的模特的图片的条件下，TryOnDiffusion的目标是生成一个展示这件服装在这个人身上可能会呈现的具体的视觉效果。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
解决这个问题最关键的难点在于，保持服装细节逼真的同时，将服装进行适当的变形以适应不同模特之间的姿势和体型的变化。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
先前的方法要么着重于保留服装细节，但无法有效处理姿势和形状的变化。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
要么允许根据期望的体型和姿势呈现出了试穿效果，但缺乏服装的细节。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
谷歌提出了一种基于Diffusion的架构，将两个UNet（称为Parallel-UNet）合二为一，谷歌能够在单个网络中保留服装细节并对服装的试穿效果进行明显的姿势和身体变化。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
Parallel-UNet的关键思想包括：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
1）通过交叉注意机制隐式地为服装制作褶皱；文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
2）服装的褶皱和人物的融合作为一个统一的过程，而不是两个独立任务的序列。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
实验结果表明，TryOnDiffusion在定性和定量上均达到了最先进的性能水平。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
具体的实现方式如下图所示。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
在预处理步骤中，目标人物从人物图像中被分割出来，创建「无服装 RGB」图像，目标服装从服装图像中分割出来，并为人物和服装图像计算姿势。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
这些信息输入被带入128×128 Parallel-UNet（关键步骤）以创建128x128的试穿图像，该图像与试穿条件的输入一起作为输入进一步发送到256×256 Parallel-UNet中。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
再把256×256 Parallel-UNet的输出内容被发送到标准超分辨率扩散（super resolution diffusion）来创建1024×1024的图像。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
而在上面整个流程中最为重要的128×128 Parallel-UNet的构架和处理过程，如下图所示。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
将与服装无关的RGB和噪声图像输入顶部的person-UNet中。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
由于两个输入内容都是按像素对齐的，在 UNet 处理开始时直接沿着通道维度（channel demension）将两个图像连接起来。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
由于两个输入都是按像素对齐的，我们在 UNet 处理开始时直接沿着通道维度将它们连接起来。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
将分割后的服装图像输入位于底部的garment-UNet。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
服装的特征通过交叉注意（cross attention）融合到目标图像之中。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
为了保存模型参数，谷歌研究人员在32×32上采样（Upsampling）之后提前停止了garment-UNet，此时person-UNet中的最终交叉注意力模块（final cross attention module）已经完成。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
人和衣服的姿势首先被送入线性层以分别计算姿势嵌入。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
然后通过注意力机制将姿势嵌入融合到person-UNet中。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
此外，它们被用在使用FiLM在所有规模上调制两个UNet的特征。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
与主流技术的对比文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
用户调查研究:对于每组输入的图片，15个普通用户选从4个备选技术中选择一个他们认为最好的，或者选择「无法区分」。TryOnDiffusion的表现明显超过了其他技术。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
下图从左到右依次是「输入，TryOnGAN，SDAFN，HR-VITON，谷歌的方法」。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
局限性文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
不过TryOnDiffusion存在一些局限性。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
首先，在预处理过程中，如果分割图和姿势估计存在错误，谷歌的方法可能会出现服装泄漏的瑕疵。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
幸运的是，近年来这方面的准确性已经大大提高，这种情况并不经常发生。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
其次，不包括关服装的RGB来显示身体的效果并不理想，因为有时它可能只能保留身份的一部分。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
例如纹身在这种情况下会不可见，某些的肌肉结构也会不可见。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
第三，我们的训练和测试数据集通常都会具有干净统一的背景，因此无法确定该方法在更复杂的背景下的表现如何。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
第四，我们不能保证服装在模特身上是否真的合身，只关注试穿的视觉效果。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html
最后，本研究侧重于上半身的服装，谷歌还没有对全身试穿效果进行实验，未来会进一步对全身效果进行研究。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/47883.html