IPAdapter-ComfyUI

IP-AdapterのComfyUIカスタムノードです。

2023/08/27: plusモデルの仕様のため、ノードの仕様を変更しました。また複数画像やマスクによる領域指定に対応しました。

Install

1. custom_nodesにclone
2. IPAdapter-ComfyUI/modelsにip-adapterのモデル（例：SDv1.5用モデル)を入れる。
3. ComfyUI/models/clip_visionにCLIP_visionモデル（例：SDv1.5用モデル)を入れる。

Usage

ip-adapter.jsonを参照してください。

Input

• model：modelをつなげてください。LoRALoaderなどとつなげる順番の違いについては影響ありません。
• image：画像をつなげてください。
• clip_vision：Load CLIP Visionの出力とつなげてください。
• mask：任意です。マスクをつなげると適用領域を制限できます。必ず生成画像と同じ解像度にしてください。
• weight：適用強度です。
• model_name：使うモデルのファイル名を指定してください。
• dtype：黒い画像が生成される場合、fp32を選択してください。ほとんど生成時間が変わらないのでずっとfp32のままでもよいかもしれません。

Output

• MODEL：KSampler等につなげてください。
• CLIP_VISION_OUTPUT：ふつうは気にしなくていいです。Revision等を使うときに無駄な計算を省くことができます。

Multiple condition.

ノードを自然につなげることで、複数画像を入力することができます。Maskと組み合わせることで、左右で条件付けを分けるみたいなこともできます。 背景も分割されてしまうことが問題ですね＾＾；

Hint

• 入力画像は自動で中央切り抜きによって正方形にされるので、避けたい場合は予め切り取り処理をするか、preprocess/furusu Image cropを使うとよいかもしれません。preprocess/furusu Image cropにはパディングをするpaddingとキャラの顔位置を基準に切り取りをするface_cropがあります。face_cropに必要なlbpcascade_animeface.xmlは自動ダウンロードできない場合があるので、その場合は手動でリポジトリ直下に入れてください。

Bug

• Apply ControlNetはなぜかバグるので、代わりにApply ControlNet(Advanced)を使ってください。

Models

• official models:https://huggingface.co/h94/IP-Adapter
• my models:https:https://huggingface.co/furusu/IP-Adapter

CITIATION

IP-Adapter:https://github.com/tencent-ailab/IP-Adapter