注册
下载

ComfyUI 的 ControlNet 辅助预处理器介绍和下载地址

ailab 1000 0

文章目录

  • 使用 ComfyUI Manager（推荐）：
  • 安装步骤：
  • 示例
  • 为什么我安装这个 repo 后有些节点没有出现？
  • DWPose/AnimalPose 只使用 CPU，所以速度很慢。如何让它使用 GPU？
  • Torch脚本
  • ONNX运行时

介绍地址：https://huggingface.co/nux1111/comfyui_controlnet_aux

Flux.1 Dev 上的“动漫风格，街头抗议，赛博朋克城市，一名有着粉红色头发和金色眼睛的女人（看着观众）举着一块牌子，上面用粗体霓虹粉色写着“ComfyUI ControlNet Aux”

CNAuxBanner

代码从https://github.com/lllyasviel/ControlNet/tree/main/annotator中的相应文件夹复制粘贴并连接到🤗 Hub。

安装：

使用 ComfyUI Manager（推荐）：

安装ComfyUI Manager并按照那里介绍的步骤安装此插件。

安装步骤：

如果您在 Linux 上运行，或者在 Windows 上运行非管理员帐户，您将需要确保/ComfyUI/custom_nodes具有comfyui_controlnet_aux写入权限。

现在有一个install.bat 文件，如果检测到，您可以运行它来安装到便携式设备。否则，它将默认安装到系统，并假定您已遵循 ConfyUI 的手动安装步骤。

如果您无法运行install.bat（例如，您是 Linux 用户）。打开 CMD/Shell 并执行以下操作：

  • 导航到您的/ComfyUI/custom_nodes/文件夹
  • 跑步git clone https://github.com/Fannovel16/comfyui_controlnet_aux/
  • 导航到您的comfyui_controlnet_aux文件夹
    • 便携式/venv：
      • 跑步path/to/ComfUI/python_embeded/python.exe -s -m pip install -r requirements.txt
    • 使用系统python
      • 跑步pip install -r requirements.txt
  • 启动 ComfyUI

示例

ExecuteAll1ExecuteAll2

测试工作流程

https://github.com/Fannovel16/comfyui_controlnet_aux/blob/main/examples/ExecuteAll.png 输入图像：https://github.com/Fannovel16/comfyui_controlnet_aux/blob/main/examples/comfyui-controlnet-aux-logo.png

问答：

为什么我安装这个 repo 后有些节点没有出现？

此 repo 新增了一个机制，可以跳过任何无法导入的自定义节点。如果您遇到这种情况，请在“问题”选项卡上创建一个问题，并使用命令行中的日志进行操作。

DWPose/AnimalPose 只使用 CPU，所以速度很慢。如何让它使用 GPU？

有两种方法可以加速 DWPose：使用 TorchScript 检查点 (.torchscript.pt) 或 ONNXRuntime (.onnx)。TorchScript 方法比 ONNXRuntime 稍慢，但不需要任何额外的库，而且仍然比 CPU 快得多。

torchscript bbox 检测器与 onnx 姿势估计器兼容，反之亦然。

Torch脚本

根据此图设置bbox_detector和。如果输入图像理想，您可以尝试其他bbox检测器结尾，以减少bbox检测时间。 pose_estimator.torchscript.ptexample_torchscript

ONNX运行时

如果 onnxruntime 安装成功，且使用的检查点以 结尾.onnx，它将替换默认的 cv2 后端以充分利用 GPU。请注意，如果您使用的是 NVidia 显卡，除非您自行编译 onnxruntime，否则此方法目前仅适用于 CUDA 11.8（ComfyUI_windows_portable_nvidia_cu118_or_cpu.7z）。

  1. 了解您的 onnxruntime 构建：
    • NVidia CUDA 11.x 或以下/AMD GPU：onnxruntime-gpu
    • NVidia CUDA 12.x：onnxruntime-gpu --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/
    • DirectML：onnxruntime-directml
    • OpenVINO：onnxruntime-openvino

请注意，如果这是您第一次使用 ComfyUI，请在执行下一步之前测试它是否可以在您的设备上运行。

  1. 将其添加到requirements.txt
  2. 运行install.bat或安装中提到的pip命令

example_onnx

预处理器的资源文件

comfyui controlnet 下载模型 图像生成 帮助文档
微海报

相关的

评论留言

热门文章