Stable Diffusion WebUI + ControlNet 姿勢コピー実現ガイド
本記事では、Stable Diffusion WebUI(AUTOMATIC1111) Version: v1.10.1 を例に、ControlNetをインストールし、ポーズコピー効果を実現するための使用方法を解説します。
レンダリング中...
ControlNet機能を使用するには、まず対応するプラグインをインストールする必要があります。ここでは、`sd-webui-controlnet` の最も簡単なプラグインインストール方法を紹介します。
1. `Extensions` タブを開き、`Installed` サブタブで、インストール済みの多くのプラグインを確認できます。もし `sd-webui-controlnet` がなければ、まだインストールされていないことを意味します。
2. `Available` サブタブをクリックして開き、`Load from` ボタンをクリックして、利用可能なプラグインをロードします。
3. ロードが成功したら、検索入力ボックスに `sd-webui-controlnet` と入力すると、プラグインが表示されます。Starの数が17000+あるので、注意して識別してください〜。見つけたら `Install` をクリックしてインストールを開始します(中国のユーザーはインストール中に国際インターネット接続を維持してください)。
4. インストールが完了したら、サービスを再起動すると、`text2img`、`img2img` などのタブに `ControlNet v1.1.xxx` タブが表示されます。
上記の自動インストール方法の他に、手動でインストールする方法もあります。プラグインのGithubリポジトリ:https://github.com/Mikubill/sd-webui-controlnet にアクセスし、リポジトリをWebUIの extensions フォルダ内に手動でクローンします。フォルダ名はリポジトリ名と同じになります。例えば、`extensions/sd-webui-controlnet` のようになります。手動でクローンした後、webuiを再起動すれば完了です。
## モデルのダウンロード
プラグイン本体をインストールした後、ControlNetは現時点では単なる「空のシェル」です。動作するためには、コアとなるモデルファイル(通常は `.pth` または `.safetensors` 拡張子)と、対応する設定ファイル(`.yaml` 拡張子)が必要です。
Stable Diffusionには **SD 1.5** と **SDXL** という2つの主要な基盤大モデルアーキテクチャが存在するため、ControlNetモデルをダウンロードする際には**厳密にペアにする必要があります**。そうしないと、起動時にバックエンドで互換性エラー(`Exception: ControlNet model ... is not compatible with sd model`)が報告されます。
### 1. ダウンロードバージョンを確認する
- **SD 1.5 アニメ大モデルを使用している場合**:Hugging Faceの [lllyasviel/ControlNet-v1-1](https://huggingface.co/lllyasviel/ControlNet-v1-1) リポジトリにアクセスし、`control_v11p_sd15_openpose.pth` と同名の `.yaml` ファイルをダウンロードします。
- **SDXL アニメ大モデルを使用している場合**:Hugging Faceの [thibaud/controlnet-openpose-sdxl-1.0](https://huggingface.co/thibaud/controlnet-openpose-sdxl-1.0) リポジトリにアクセスし、`OpenPoseXL2.safetensors`(または `controlnet-openpose-sdxl-1.0.safetensors`)をダウンロードし、`config.json` 設定ファイルをダウンロードします。*(注:SDXLモデルはファイルサイズが大きめですが、これは正常な現象です)。*
### 2. モデルの保存パス
ダウンロードした `.pth` / `.safetensors` モデルファイルと設定ファイルを以下のパスに配置します: `あなたのWebUIインストールディレクトリ/webui/models/ControlNet/`
ファイルを配置した後、WebUIインターフェースに戻り、ControlNetパネルのモデル(Model)ドロップダウンメニューの横にある **青い更新アイコン 🔄** をクリックすると認識され、WebUIサービス全体を再起動する必要はありません。
## パラメータ設定
実写写真のポーズをアニメ画像に変換する例として、**`img2img`(画像から画像へ)** パネルの下にある **`ControlNet v1.1.xxx`** タブを展開し、以下の主要なパラメータを設定する必要があります。
1. **基本有効化設定**:
- **`Enable`**(プラグインを有効にする)にチェックを入れます。
- **`Pixel Perfect`**(ピクセルパーフェクトモード。これによりControlNetは画像解像度に基づいて計算精度を自動調整し、ポーズ検出の精度を大幅に向上させます)にチェックを入れます。
2. **コントロールタイプ選択**:
- `Control Type` ラジオボタンで **`OpenPose`** をクリックします。これにより、下部のプリプロセッサとモデルが自動的にフィルタリングされます。
3. **プリプロセッサ(Preprocessor)とモデル(Model)のペアリング**:
- **Preprocessor**:**`dw_openpose_full`** または `openpose_full` を強く推奨します。これら2つのプリプロセッサは、現在最も認識率の高いアルゴリズムであり、全身の関節、顔の表情、指の姿勢を同時に正確に捉えることができます。
- **Model**:前のステップでダウンロードした、現在左上にあるSDメイン大モデルのバージョンと一致するOpenPoseモデルを選択します(SD 1.5 の場合は `v11p_sd15_openpose`、SDXL の場合は `OpenPoseXL2`)。
4. **コントロールモード(Control Mode)とウェイト**:
- **Control Weight(コントロールウェイト)**:デフォルトは `1` です。生成されたアニメ画像の大モデルが「自己主張が強すぎる」ためにポーズが崩れる場合は、ウェイトを **`1.4 - 1.6`** に上げることができます。
- **Control Mode**:デフォルトは `Balanced`(バランス)。ポーズの再現度がまだ不十分な場合は、**`ControlNet is more important`**(ControlNetがより重要)にチェックを入れることで、大モデルにポーズの骨格に従うように強制できます。
## 画像生成とトラブルシューティング
パラメータ設定が完了したら、上部のポジティブプロンプトにアニメスタイルのキーワード(例:`masterpiece, best quality, vibrant anime style, 2D`)を追加し、ネガティブプロンプトに `realistic, photographic` を追加して、**`Generate`** をクリックすると生成が開始されます。
新しいバージョンのWebUIのControlNetインターフェースでは、「爆発アイコン」を探して事前に骨格を生成する必要はありません。`Generate` をクリックすると、ControlNetはバックグラウンドで自動的に実行されます。生成が完了すると、右側の結果表示エリアには変換されたアニメ画像だけでなく、**黒背景のカラー骨格図**(OpenPose骨格図)も表示されます。
**ヒント:生成される画像の品質は、メインモデルにも大きく関係しています。アニメ分野では `plantMilk` や `waiIllustrious` のような最新のモデルを選択することをお勧めします。**END
コメント
ログインしてコメントを閲覧・投稿してください
ログインへ