如何用 ComfyUI 搭建 Stable Diffusion 工作流,提升效率?
AI 绘图如火如荼发展了这么久,从 MJ 到 SD webUI,再到时下最热门的 Comfy UI。因为显存的问题对 Mac 用户一直不是很友好,阻碍了大部分设计师上手学习的道路。但是 Comflowy 解决了这个痛点。这是一款 Mac 系统可用本地版的 sd,一键安装,让苹果用户不再只是看个热闹无法上手或去购买价格高昂的线上生图工具。
ComflowySpace 的官网入口
- 官方网站主页: https://www.comflowy.com
- GitHub 源码库: https://github.com/6174/comflowyspace
Comflowy 是一款专为简化和增强 AI 图像及视频生成工具使用体验而设计的开源软件,基于 ComfyUI 和 Stable Diffusion,提供 Windows 和 Mac 客户端,个人可免费使用。相比 SD WebUI 和 ComfyUI 的上手难度,Comflowy 提供了更友好的体验,即使是没有技术背景的用户也能够轻松上手,让更广泛的设计师用户利用 AI 技术进行图像和视频的生成。需要注意的是 MAC 用户需要配置 M1 以上的芯片,16G 内存以上(Intel 芯片用户和内存不够的设备建议使用线上版)。
ComflowySpace 提供了丰富的功能和更便捷的使用体验:
- 全面的 Workflow 功能:ComflowySpace 包含了 ComfyUI 的所有基础 Workflow 功能,交互形式保持一致,让您能够快速上手。
- 模型支持:支持加载 ComfyUI 内的模型,无需重新下载,也不会占用额外的存储空间。
- 插件生态:兼容 ComfyUI 的各种第三方插件,扩展了功能和可能性。
相较于 ComfyUI,ComflowySpace 的优势在于:
① 一键安装:省去了繁琐的安装流程。
② Workflow 管理:自动保存每次更改,无需手动导出。
③ 模板功能:提供了丰富的模板,简化了 Workflow 的搭建过程,并提供了详细的教程。
④ 优化的用户体验:对 UI 和 UX 进行了优化,让创意探索更加顺畅和舒适。
以上是工具的介绍。但是为什么要从 webUI 迁移到 comfy UI 呢?
我们先来简单看看 SD Web UI 和 ComfyUI 的 UI 界面,你应该就能知道它们的区别了。
从上图中可以看到,SD WebUI 的 UI 更像是我们传统使用的产品,有很多输入框,还有多个按钮。而 ComfyUI 的 UI 界面则非常复杂,除了输入框,还有很多一块块的东西,并且还有很多复杂的连线。
从学习成本来看,ComfyUI 的学习成本会比 SD WebUI 高。但是这种连线其实并不复杂,你可以这么理解:
- 这些小的方块跟 SD WebUI 的输入框和按钮是一样的,都是对参数进行配置。
- 连线可以理解为搭建自己的生产流水线,从左到右依次运行。
- 从功能的角度看,其实两个产品截图所提供的功能是一样的,只是 ComfyUI 变成了这种连线的方式。
这种方式有什么好处?我们一起来看看这两个用 ComfyUI 搭建的工作流:
对比两个工作流,你会发现它只是有一个节点不一样,左侧图是直接加载图片,右侧图是通过画板绘制图片。这样就实现了两个不同的功能(左侧图是导入图片生图,右侧图是绘图生图)。这就意味着,你可以通过改变节点的方式来改变工作流,从而实现不同的功能。这样做有两个好处:
- 你可以根据自己的需求搭建适合自己的工作流,而不需要依赖开发者。你也可以根据自己的需求,去开发并改造某个节点。
- 工作流可以直接导出为 Jason 文件,更快速便捷的分享给小伙伴,而不是繁琐的截图教程。
所以,选择 ComfyUI 最核心的原因就在于它的自由和拓展,就像乐高一样。你可以自己调整工作流中的每个节点进行串联和并联,甚至加入翻译,反推,自动化等等更高效的节点来创造独属于自己的工作流。并且其他小伙伴拿到分享的工作流可以直接一键使用。这所有的一切都形成了 ComfyUI 独特开放的社区文化,让这个平台成为更多设计师的主要生产工具。
除了以上优势外,ComfyUI 对显存要求较低,同时优化了生成流程,提高了出图速度。它能在同样 8G 显存的情况下支持 SDXL 还能使用两个 XL 的 Controlnet(还没用过三个),SD web UI 是跑不了的,加载模型都不行。
综上,ComfyUI 相比于 SD webUI,它可以使用多个流水线工作,用不同的处理方式处理多个不同的图片,最终输出不同的图片,如果工作量很大,你只需要调整节点后然后出去玩一整天,而不用像 webUI 一样坐在电脑前等这张跑完了,换个输入参数和咒语再跑另一张。
同时,它也支持多个模型和插件(包括 controlnet),输入数据用多个插件同时控制一张图片,满足你对视角,动作,场景细节的要求。甚至得益于它的高效率和高控制能力,让图片转视频,视频转视频这种需要大量转绘操作的输出变得更简便高效,将 AI 绘图自动化向前推进了一大步。
58 数科在最近推出了吉祥物小海獭「福宝」。在针对福宝的设计展示上,我们希望借助 ai 的能力,快速产出不同风格的视觉图以达到快速上线的目的。同时在已有的基础设定上延展不同的场景。
step1 选择合适的工作流配置好基础参数
首先进入模版区,选择 Canny ControlNet workflow,进入画布后在标注 Erros 的地方选择对应的模型和参数。可以在左侧画布操作,也可以在右侧控制面板操作。
step2 第一个 Apply Controlnet 后串联第二个 Apply Controlnet
从第一个 Apply Controlnet(positive)的 CONDITIONING 节点拉出连线,选择 Apply Controlnet(positive)。然后从左侧的 control_net 节点拉出线,为这个模块添加对应的 controlnet 模型。最后将这两个模块串联到 KSamper 的 positive 节点上。
step3 串联一个 lora
从 checkpoint 模块的 model 节点拉线出来,选择 Load LoRA,再将三个节点分别连接到前后两个模块
step4 输入对应的咒语,点击运行
step5 上传其他草图和对应的咒语,点击运行批量生图
最后批量生图只需要上传草图,对应修改关键词,再点击运行。已经加载过的模块将不再需要再次加载。使用工作流生图的运行时间约比在 webUI 中节约 1/3 的时间,且后续复用这个工作流只需要在模版中直接调用就可以了,大大提升工作效率。
Comfy UI 强的地方在于复现工作流和全自动化生产,一键直接出图。Webui 里面要反复图生图调参数去试,而且第一次跟第二次生成效果,可能就是不一样,而在 Comfy ui 里,工作流搭建成功,只需要点击运行,只要不调整参数,你每一次都可以保证生成差不多的效果,达到统一风格,这点就实现了 AI 本该有的自动化流程。使用 AI 作为生产力工具,会越来越趋向于自动化,未来一定是越来越可控,而 Comfy Ui 就是走向这个未来的必经之路。Comflowy 这个工具则是这条路上广大 Mac 用户的福音,这就去试试吧。
58UXD