![images](../img/imgtop_sub_b.png)
指定した顔に近づけて画像を生成する、IP-Adapter の FaceID を、ComfyUI で使ってみます。
![images](https://raw.githubusercontent.com/cubiq/ComfyUI_IPAdapter_plus/main/examples/demo_workflow.jpg?raw=true)
関連
- ◯
- ComfyUI で画像生成 〜 なぜそこにつなぐのか:ComfyUI, Stable Diffusion
- ◯
- ComfyUI を、クラウドのコンテナに設置する:ComfyUI, Docker, GCP
検証
- ◯
- サーバ
- ・
- クラウド:GCP
- ・
- コンテナ:Docker
- ・
- ホスト:Ubuntu 22.04
- ・
- ゲスト:Ubuntu 22.04
- ◯
- クライアント
- ・
- パソコン:macOS
概要
IP-Adapter の FaceID は、顔の認識に特化したアダプタです。[※1]
- ※1
- 顔の認識を試したかぎり、リアル調なら認識しますが、アニメ調だとほぼ認識しないようですね(SD のモデルをアニメ調のものにした場合でも)。
概要
ComfyUI 向けの顔認識を利用できるノードは、次から提供されています:
- ・
- https://github.com/cubiq/ComfyUI_IPAdapter_plus
設置
次の手順で設置します:
必要なモジュール群を追加します:[※1]
$ pip install insightface $ pip install onnxruntime
アダプタのモデル群を取得し、ComfyUI から参照できるようにします:
# IP モデルの取得と参照(ip-adapter-faceid_sdxl.bin): $ cd ${directory_apapter} $ wget https://huggingface.co/h94/IP-Adapter-FaceID/resolve/main/ip-adapter-faceid_sdxl.bin $ cd ${directory_project}/ComfyUI/custom_nodes/ComfyUI_IPAdapter_plus/models $ ln -s ${directory_apapter}/ip-adapter-faceid_sdxl.bin ip-adapter-faceid_sdxl.bin # IP モデルの取得と参照(ip-adapter-faceid-plusv2_sdxl.bin): $ cd ${directory_apapter} $ wget https://huggingface.co/h94/IP-Adapter-FaceID/resolve/main/ip-adapter-faceid-plusv2_sdxl.bin $ cd ${directory_project}/ComfyUI/custom_nodes/ComfyUI_IPAdapter_plus/models $ ln -s ${directory_apapter}/ip-adapter-faceid-plusv2_sdxl.bin ip-adapter-faceid-plusv2_sdxl.bin # LoRA モデルの取得と参照(ip-adapter-faceid_sdxl_lora.safetensors): $ cd ${directory_apapter} $ wget https://huggingface.co/h94/IP-Adapter-FaceID/resolve/main/ip-adapter-faceid_sdxl_lora.safetensors $ cd ${directory_project}/ComfyUI/models/loras $ ln -s ${directory_apapter}/ip-adapter-faceid_sdxl_lora.safetensors ip-adapter-faceid_sdxl_lora.safetensors # LoRA モデルの取得と参照(ip-adapter-faceid-plusv2_sdxl_lora.safetensors): $ cd ${directory_apapter} $ wget https://huggingface.co/h94/IP-Adapter-FaceID/resolve/main/ip-adapter-faceid-plusv2_sdxl_lora.safetensors $ cd ${directory_project}/ComfyUI/models/loras $ ln -s ${directory_apapter}/ip-adapter-faceid-plusv2_sdxl_lora.safetensors ip-adapter-faceid-plusv2_sdxl_lora.safetensors
- ※1
- 現時点で requirements.txt は提供されていないようなので、手動で設置します。
利用
FaceID の利用は、次のワークフローが参考になります:
- ・
- https://github.com/cubiq/ComfyUI_IPAdapter_plus/blob/main/examples/FaceID_Plus.json
- ・
- https://github.com/cubiq/ComfyUI_IPAdapter_plus/blob/main/examples/FaceID_Plus_v2.json