【Stable Diffusion】WebUIでControlNetを使えるようにする【忘備録】

Stable Diffusion

2023.02.14

はじめに

ControlNetとやらを入れると、構図の指定が容易になるという話を聞いて。入れてみました。

WebUIの導入は済んでいることを前提とします。よかったら参考にしてください。

ちなみにControlNetのリポジトリに書いてあることをまんまやっているだけです。

ControlNetの導入は以下の3Stepだけの簡単作業です。

WebUIを起動します。

次にExtensionタブを開き、更に「Install from URL」タブを開きます。

画面内の「URL for extension’s git repository」にControlNetのリポジトリURLをコピペします（以下のURL）。

https://github.com/Mikubill/sd-webui-controlnet.git

最後に「Install」をクリックすればControlNetがダウンロードされます。

こちらから使いたいモデルをダウンロードします。

自分はとりあえず、エッジ検出系の「control_sd15_canny.pth」とポーズ推定の「control_sd15_openpose.pth」をダウンロードしました。

「***\stable-diffusion-webui\extensions\sd-webui-controlnet\models（***は各環境による）」にダウンロードしたモデルを入れます。

最後にWebUIを立ち上げなおすと「txt2img」タブの下のほうに「ControlNet」が追加されています。

ControlNetはほとんどデフォルト設定で、ポーズの参考画像を貼り付ける。

適当なプロンプトを入力して生成すると、ポーズがそっくりな画像が出力された。

凄い。。。もしかして、CenterTrackとかyoloとかぶつけたら動画作れちゃう。。。？