指定した顔に近づけて画像を生成する、IP-Adapter の FaceID を、ComfyUI で使ってみます。
関連
- ◯
- ComfyUI で画像生成 〜 なぜそこにつなぐのか：ComfyUI, Stable Diffusion
- ◯
- ComfyUI を、クラウドのコンテナに設置する：ComfyUI, Docker, GCP
検証
- ◯
- サーバ
- ・
- クラウド：GCP
- ・
- コンテナ：Docker
- ・
- ホスト：Ubuntu 22.04
- ・
- ゲスト：Ubuntu 22.04
- ◯
- クライアント
- ・
- パソコン：macOS
概要
IP-Adapter の FaceID は、顔の認識に特化したアダプタです。［※１］
- ※１
- 顔の認識を試したかぎり、リアル調なら認識しますが、アニメ調だとほぼ認識しないようですね（SD のモデルをアニメ調のものにした場合でも）。
概要
ComfyUI 向けの顔認識を利用できるノードは、次から提供されています：
- ・
- https://github.com/cubiq/ComfyUI_IPAdapter_plus
設置
次の手順で設置します：
必要なモジュール群を追加します：［※１］
$ pip install insightface $ pip install onnxruntime
アダプタのモデル群を取得し、ComfyUI から参照できるようにします：
# IP モデルの取得と参照（ip-adapter-faceid_sdxl.bin）：
$ cd ${directory_apapter}
$ wget https://huggingface.co/h94/IP-Adapter-FaceID/resolve/main/ip-adapter-faceid_sdxl.bin
$ cd ${directory_project}/ComfyUI/custom_nodes/ComfyUI_IPAdapter_plus/models
$ ln -s ${directory_apapter}/ip-adapter-faceid_sdxl.bin ip-adapter-faceid_sdxl.bin
# IP モデルの取得と参照（ip-adapter-faceid-plusv2_sdxl.bin）：
$ cd ${directory_apapter}
$ wget https://huggingface.co/h94/IP-Adapter-FaceID/resolve/main/ip-adapter-faceid-plusv2_sdxl.bin
$ cd ${directory_project}/ComfyUI/custom_nodes/ComfyUI_IPAdapter_plus/models
$ ln -s ${directory_apapter}/ip-adapter-faceid-plusv2_sdxl.bin ip-adapter-faceid-plusv2_sdxl.bin
# LoRA モデルの取得と参照（ip-adapter-faceid_sdxl_lora.safetensors）：
$ cd ${directory_apapter}
$ wget https://huggingface.co/h94/IP-Adapter-FaceID/resolve/main/ip-adapter-faceid_sdxl_lora.safetensors
$ cd ${directory_project}/ComfyUI/models/loras
$ ln -s ${directory_apapter}/ip-adapter-faceid_sdxl_lora.safetensors ip-adapter-faceid_sdxl_lora.safetensors
# LoRA モデルの取得と参照（ip-adapter-faceid-plusv2_sdxl_lora.safetensors）：
$ cd ${directory_apapter}
$ wget https://huggingface.co/h94/IP-Adapter-FaceID/resolve/main/ip-adapter-faceid-plusv2_sdxl_lora.safetensors
$ cd ${directory_project}/ComfyUI/models/loras
$ ln -s ${directory_apapter}/ip-adapter-faceid-plusv2_sdxl_lora.safetensors ip-adapter-faceid-plusv2_sdxl_lora.safetensors
- ※１
- 現時点で requirements.txt は提供されていないようなので、手動で設置します。
利用
FaceID の利用は、次のワークフローが参考になります：
- ・
- https://github.com/cubiq/ComfyUI_IPAdapter_plus/blob/main/examples/FaceID_Plus.json
- ・
- https://github.com/cubiq/ComfyUI_IPAdapter_plus/blob/main/examples/FaceID_Plus_v2.json