哈喽大家好！我是小张 👋

上个月给大家分享了 ComfyUI 的基础入门教程，不少小伙伴已经能跑出不错的图了。但很快就有新问题：「小张，AI 画的图虽然好看，但构图完全不听我的啊！想让角色摆个特定姿势怎么做？」😤

好问题！今天就来教大家 AI 绘画的两大神器 —— **ControlNet（控制网）** 和 IP-Adapter（风格迁移器），让你从「抽卡式出图」进化到「指哪打哪」！🎯

📌 ControlNet 是什么？

ControlNet 可以理解为一个给 AI 画画的「构图约束器」。你给它一张参考图（线稿、姿势图、深度图等），它就能让 AI 按照这个构图来生成新图。

举个栗子 🌰：你想画一个「双手举过头顶的战士」，如果只靠提示词，AI 可能画出各种奇怪姿势。但只要你丢一张火柴人姿势图给 ControlNet，AI 就会乖乖按这个姿势画！

支持的参考图类型非常多 👇

预处理器 输入 效果
OpenPose 人物照片 提取骨骼姿势，精准控制人物动作
Canny 任意图片 提取边缘轮廓，保持整体构图
Depth 场景照片 提取深度信息，控制空间透视
Scribble 涂鸦草图 把你的潦草涂鸦变成精美画作
Lineart 线稿 根据线条生成上色成品
Tile 低清图 高清放大 + 细节补充
IP-Adapter 风格参考图 迁移画风，不改变构图

🚀 安装 ControlNet 节点

在 ComfyUI 里安装插件超简单：

cd ComfyUI/custom_nodes
git clone https://github.com/Fannovel16/comfyui_controlnet_aux.git

然后下载 ControlNet 模型文件（.safetensors），放到 ComfyUI/models/controlnet/ 目录。推荐先下载这几个最常用的：

  • control_v11p_sd15_openpose.pth — 姿势控制
  • control_v11p_sd15_canny.pth — 边缘控制
  • control_v11p_sd15_depth.pth — 深度控制

重启 ComfyUI，节点列表里就能搜到啦！✅

🎨 实战一：用 OpenPose 控制人物姿势

这是最实用的场景 —— 精准控制 AI 角色的身体动作。工作流如下：

Load Image (你的姿势参考图)
    ↓
OpenPose Preprocessor (提取骨骼)
    ↓
ControlNet Apply (加载 OpenPose 模型)
    ↓
KSampler (正常文生图流程)
    ↓
VAE Decode → 出图！

💡 关键参数：ControlNet Apply 节点里的 strength 决定约束力度，建议从 0.8 开始，太高可能让画面僵硬，太低约束不够。

🎭 实战二：IP-Adapter 风格迁移

IP-Adapter 是目前最火的风格迁移工具。它能把一张参考图的画风「灌」到你的生成结果里，而且不会影响构图！

使用场景举例：

  • 📸 拍一张照片 → 生成同风格的二次元头像
  • 🎨 找一张油画 → 让你的 AI 图全变成油画风
  • 🕹️ 上传游戏截图 → 统一所有 AI 素材的风格

工作流：

Load Image (风格参考图)
    ↓
IP-Adapter Model Loader
    ↓
CLIP Vision Encode
    ↓
IP-Adapter Apply (注入到 KSampler)
    ↓
正常出图流程...

🔥 组合技：ControlNet + IP-Adapter 双开

这才是真正的神仙操作 —— 同时控制构图和风格！

比如你想要：一张宫崎骏风格的图，但角色姿势是你指定的照片动作 👇

姿势参考图 → OpenPose → ControlNet Apply ─┐
                                           ├→ KSampler → 出图！
风格参考图 → IP-Adapter ──────────────────┘

两个控制信号同时作用，一个管构图，一个管画风，互不干扰。这就是 ComfyUI 节点式工作流的威力 —— 想加多少控制就加多少！🚀

💡 避坑指南

踩过的坑分享给你，少走弯路：

⚠️ 显存不足：ControlNet + IP-Adapter 同时开会吃显存，建议用 --lowvram 启动
⚠️ strength 太高：画面会僵硬变形，0.7-0.9 是甜点区间
⚠️ 参考图质量：OpenPose 对模糊照片提取效果差，尽量用清晰的全身照
⚠️ 模型匹配：SD1.5 的 ControlNet 不能用在 SDXL 上，注意版本对应

🎮 游戏开发中的应用

最后说说我自己的实战案例。最近在做一个小游戏项目，需要 50+ 张角色立绘，要求风格统一、姿势各异。传统做法得画好久，用这套方案：

  1. 找一张满意的角色立绘作为 IP-Adapter 风格参考 🎨
  2. 用 Daz3D 摆好 50 个不同姿势，导出截图 🔧
  3. 每个截图丢进 OpenPose 提取骨骼 → 批量生成 🏭

原来两周的工作量，半天搞定，风格还完全统一！这就是 AI 提效的威力 😎

📝 总结

学会了 ControlNet + IP-Adapter，你就不再是「抽卡玩家」了，而是真正的「AI 导演」—— 构图、姿势、风格，一切尽在掌控 ✨

下一步可以探索的方向：AnimateDiff 动画生成、InstantID 人物一致性、LayerDiffuse 透明背景生成…

有问题评论区见！晒出你用 ControlNet 控制的图，让我看看大家的创意 👇💬