Posted in

双 Buff 加持!无 GPU 畅玩 ControlNet Union,一个模型搞定 10+图像控制_AI阅读总结 — 包阅AI

包阅导读总结

1. `Controlnet Union`、`ComfyUI`、`图像控制`、`云节点`、`模型集成`

2. Controlnet Union 推出,实现多种图像控制效果 All in one,简化操作流程。在硅基流动团队开源的云节点 BizyAir 中可丝滑畅享,无硬件与环境限制,降低使用门槛。还介绍了安装及使用方法,BizyAir 此前已上线其他功能。

3.

– Controlnet Union

– 一个模型搞定 10+图像控制,备受社区推崇

– 性能无明显下降,参数与计算量未明显增加,兼容多种模型

– 提供超 20 个 ControlNet Preprocessing 节点,支持多条件生成

– BizyAir 云节点

– 可丝滑畅享 Controlnet Union,生成高分辨率图像

– 此前已上线 SiliconCloud LLM、可图 Kolors

– 使用方法

– 安装:在 ComfyUI Manager 中搜索“BizyAir”,或通过源码、Comfy-cli 安装,新手可用压缩包

– 快速开始:设置 API 密钥,使用 Controlnet Union 节点,支持与本地节点混合使用

– 交流群:扫码加入(备注“BizyAir”)

思维导图:

文章地址:https://mp.weixin.qq.com/s/-AjgaJBwkJtljeyRNSjOAQ

文章来源:mp.weixin.qq.com

作者:BizyAir

发布时间:2024/7/17 3:20

语言:中文

总字数:1435字

预计阅读时间:6分钟

评分:91分

标签:Controlnet Union,图像生成,云节点,ComfyUI,高分辨率图像


以下为原文内容

本内容来源于用户推荐转载,旨在分享知识与观点,如有侵权请联系删除 联系邮箱 media@ilingban.com

双重Buff加持,ComfyUI用户的生产力大升级。

以往,为了实现轮廓、深度、动作姿势、颜色等多种控制效果,你可能需要安装不同的控制模型来独立实现,并且大大占用了你本地的存储空间。

现在,Controlnet Union的推出让所有这些控制模型实现All in one,大大简化了用户操作流程,备受社区用户的推崇。

更重要的是,不用考虑硬件与环境限制,在硅基流动团队开源的专用于ComfyUI的云节点BizyAir中,你可以丝滑畅享Controlnet Union,生成与Midjourney效果相当的任意长宽比的高分辨率图像,再一次大幅降低了使用门槛。

一键直达传送门:

代码:github.com/siliconflow/bizyair

文档:bizyair.siliconflow.cn


这次BizyAir上线的Controlnet Union节点“☁️BizyAir Controlnet Union SDXL 1.0”集成了controlnet-union-sdxl-1.0,这是由xinsir团队发布的用于图像生成和编辑的一站式控制模型
通过一个模型实现了10+种控制效果。

具体而言,与独立控制模型相比,支持多种控制类型的Controlnet Union的性能无明显下降。支持多条件生成,无需设置超参数或设计提示。由于使用了与原始ControlNet几乎相同的参数,它的模型参数与计算量没有明显增加。此外,Controlnet Union兼容SDXL、Lora模型。

在ControlNet的工作流中,通常需要有图像预处理节点将图像转换为ControlNet网络可以使用的图像提示(Image Prompt)。BizyAir提供了超过20个ControlNet Preprocessing节点,包括Line Extractors、T2I-Adapter Only、Semantic Segmentation、Normal and Depth Estimators、Face and Pose Estimators、Tile六大类。用户可以直接执行图像到图像的生成等任务。

一个示例:将一张大白鲨的照片转换为深度图,然后绘制一个赛博朋克风格的潜水艇。

除了这次上线ControlNet节点,此前,BizyAir已经上线SiliconCloud LLM、可图Kolors

那么,如何在ComfyUI中使用Controlnet Union?


一、安装BizyAir

在ComfyUI Manager中搜索“BizyAir”即可完成安装。此外,你还可以通过源码、Comfy-cli安装。Windows新手可以下载独立的压缩包。具体可见:

bizyair.siliconflow.cn/getting-started/installation.html

二、快速开始

1. 设置API密钥

首次使用,你需要通过“Set SiliconCloud API Key(设置SiliconCloud API密钥)”来生成API密钥。具体可见:bizyair.siliconflow.cn/getting-started/quick-start.html

2. 使用Controlnet Union节点

所有BizyAir节点都在“☁️BizyAir”目录下。可以使用 github.com/siliconflow/BizyAir/blob/master/examples/bizyair_controlnet_union_workflow.json 工作流快速尝试。

3. 支持与本地节点混合使用

BizyAir云节点可以与ComfyUI本地节点混合使用。比如,如果你不想使用AI自动生成的图片,也可以用本地图片做预处理。

其他人都在看

扫码加入BizyAir用户交流群
(请备注暗号“BizyAir”)