ControlNet再升级！字节提出ControlNet ++！

2024-04-1508:48:12人工智能与大数据Comments1,028 views字数 792阅读模式

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/63075.html

ControlNet 是 Stable Diffusion中的一种扩展模型也是其能够实现精准控图的重要组成部分。ControlNet的革命性之处在于它解决了空间一致性问题。以前根本没有有效的方法来告诉人工智能模型要保留输入图像的哪些部分，而ControlNet引入一种方法，使稳定扩散模型能够使用额外的输入条件，准确地告诉模型要做什么，从而改变了这一现状。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/63075.html

这样“革命性”的扩散模型即将迎来再一次的升级。ControlNet Plus——ControlNet ++。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/63075.html

论文地址：https://arxiv.org/pdf/2404.07987.pdf文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/63075.html

项目介绍：https://liming-ai.github.io/ControlNet_Plus_Plus/文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/63075.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/63075.html

简介：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/63075.html

为了增强文本到图像扩散模型的可控性，ControlNet++采取了一种新颖的方法，通过显式优化生成图像和条件控制之间的像素级循环一致性来改进可控生成。具体来说，对于输入条件控制，使用预训练的判别奖励模型来提取生成图像的相应条件，然后优化输入条件控制和提取条件之间的一致性损失。一种简单的实现是从随机噪声生成图像，然后计算一致性损失，但这种方法需要存储多个采样时间步长的梯度，从而导致大量的时间和内存成本。为了解决这个问题，引入了一种有效的奖励策略，通过添加噪声故意干扰输入图像，然后使用单步去噪图像进行奖励微调。这避免了与图像采样相关的大量成本，从而可以更有效地进行奖励微调。大量实验表明ControlNet++显着提高了各种条件控制下的可控性。例如，在分割掩模、艺术线条边缘和深度条件方面，它比 ControlNet 分别提高了 7.9% mIoU、13.4% SSIM 和 7.6% RMSE。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/63075.html

ControlNet再升级！字节提出ControlNet ++！文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/63075.html