この記事のポイント
この記事はControlNet Scribbleの使い方について詳しく解説しています。- 簡単なスケッチから高品質なイラストを生成できる技術であることを紹介しています。
監修者プロフィール
坂本 将磨
Microsoft AIパートナー、LinkX Japan代表。東京工業大学大学院で技術経営修士取得、研究領域：自然言語処理、金融工学。NHK放送技術研究所でAI、ブロックチェーン研究に従事。学会発表、国際ジャーナル投稿、経営情報学会全国研究発表大会にて優秀賞受賞。シンガポールでのIT、Web3事業の創業と経営を経て、LinkX Japan株式会社を創業。
AIとクリエイティビティの融合は、今日私たちの創作活動に新たな可能性をもたらしています。
そんな中、Stable Diffusionの拡張機能である「ControlNet Scribble」は、ラフなスケッチから精緻なイラストまでを生成できる革新的なツールです。
この記事では、ControlNet Scribbleの使い方や、実際に生成する際の流れについて具体的な手順を紹介します。
線画から高品質な画像を生み出すControlNet Scribbleの使用法をマスターし、制作プロセスをより自由で効率的なものにしましょう。
また、ControlNet Scribbleを用いたアイデアの可視化やイラスト制作の補助など、その応用例についても詳しく解説していきます。
オリジナルな創作活動をサポートするControlNet Scribbleの魅力を、ぜひこの記事で探求してください。
目次
ControlNet Scribbleの使い方【Stable Diffusion Web UI】
ControlNet Scribbleとは？
ControlNet Scribbleは、Stable Diffusion Web UIの拡張機能であるControlNetの一つで、簡単な落書きを基に画像生成をコントロールする機能です。ラフなスケッチや線画から、高品質なイラストや画像を生成することができます。
参考画像
ControlNet Scribbleでできること
- 落書きから画像生成: 頭の中のイメージを簡単なスケッチで表現し、それを元に画像を生成することができます。
- 構図の決定: 人物や物体の配置、背景などを線画で指定し、構図をコントロールすることができます。
- イラスト制作の効率化: 下書きの段階からAIの力を借りることで、イラスト制作を効率化することができます。
Scribbleの使い方として、1.事前に用意した簡単な線画風のスケッチを使用するか、2.画像を用意し、線画の抽出も任せるかの二択挙げられます。
後者のイメージとしては、元画像を線画として抽出し、その構図をもとに新たな画像を生成するといった具合です。その際に、プロンプトやパラメータを設定することで、元画像の構図を持った新たな雰囲気の画像を生成することが出来ます。
ControlNet Scribbleの使い方【Stable Diffusion Web UI】
事前準備
ControlNet Scribbleを使用するには、以下の準備が必要です。
-
Stable Diffusion Web UIのインストール: まだインストールしていない場合は、こちらの記事をご覧になり、Stable Diffusion Web UIをインストールしてください。
-
ControlNetのインストール: Stable Diffusion Web UIの拡張機能として、こちらから、ControlNetをインストールしてください。
基本設定と操作手順
ControlNet Scribbleの基本的な設定と操作手順は以下の通りです。なお、ここではScribbleの使い方として挙げた2パターンのうち、画像を用意する後者の方法を紹介しています。
- 元画像のアップロード: 落書きや線画をStable Diffusion Web UIにアップロードします。
- ControlNetの設定: ControlNetの設定を行います。
- Enableにチェック: ControlNetを有効化するために、「Enable」にチェックを入れます。
- Preprocessorの選択: ダウンロードしたScribbleモデルに対応するPreprocessorを選択します。
- ControlNet Unit: "Scribble"を選択します。
- プロンプトの入力: 生成したい画像のイメージをプロンプトで入力します。
- 画像生成: 「Generate」ボタンをクリックして画像を生成します。
ここまでの流れに関しては、こちらの記事で詳しく解説しています。
ControlNet Scribbleの利用例
なお、以降の生成ではComfyUIを使用しています。Stable Diffusion WebUIと操作方法は異なりますが、特に画像生成上に使うファイルが異なる訳ではありませんのでご安心下さい。なお、ComfyUIについては、こちらで詳しく解説しています。
ComfyUIでControlNet Scribbleを使用するには、以下のサイトにアクセスして下さい。
https://comfyanonymous.github.io/ComfyUI_examples/controlnet/
アクセス先にて、下記画像の下部に表示されている画像をComfyUIにドラッグアンドドロップすることで、ワークフローが読み込まれます。
以下のようにワークフローを読み込むことが出来ました。
Controlnetのワークフロー
ここで、Scribbleの使い方として挙げた、1.事前に用意した簡単な線画風のスケッチを使用するか、2.画像を用意し、線画の抽出も任せるのそれぞれに分けて生成までの流れを解説します。
1.事前に用意した簡単な線画風のスケッチを使用する
この方法では、ワークフローを特にいじる必要がありません。
「Load ControlNet Model」にてScribbleのモデルを選択、各種ファイルやプロンプト、パラメータを設定し、「Queue」をクリックします。
2.画像を用意し、線画の抽出も任せる
この方法では、一旦、元画像を線画に抽出するためのノードを加える必要があります。
Add Node > ControlNet Preprocessors > Line Extractors > Scribble〇〇
のノードを追加して下さい。Scribbleという名前のものなら、お好きなもので大丈夫です。ものによって、線画抽出の画風が異なります。
ワークフローの修正方法
ノードを追加したら、これをワークフローに組み込みます。下記の作業を行って下さい。
- 「Load Image」と「Apply ControlNet」を切断
- 「Load Image」のIMAGEを先ほど追加した「Scribble〇〇」のimageに接続
- 「Scribble〇〇」のIMAGEを「Apply ControlNet」のimageに接続
すると、以下のようにワークフローが修正されます。
ワークフロー修正後
ここで、線画抽出後の画像を確認したい方は、
Add Node > image > Save Image か Preview Image
のノードを追加し、「Scribble〇〇」と接続して下さい。
線画画像の確認
最終的にワークフローは、下記のようになりました。
ワークフローの完成形
後は、1と同様の流れで生成する事が出来ます。
以降の生成では、下記のモデルを使用しています。
https://civitai.com/models/75650/disney-pixar-cartoon-type-b
線画を元にイラストを生成
それでは、簡単な線画を用いて画像を生成したいと思います。
線画
使用するプロンプトは以下の通りです。
Vibrant 3D alien character, friendly, expressive, glowing features, playful design
以下のような結果となりました。
左：線画、右：生成画像
ラフなスケッチから画像を生成
以下のスケッチを用いて画像を生成してみます。
スケッチ
使用するプロンプトは以下の通りです。
Whimsical female character, vibrant colors, playful, expressive, cheerful, cartoonish design
以下のような結果となりました。
左：スケッチ、右：生成画像
構図を指定して画像を生成
それでは、任意の画像を用意し、その構図で生成してもらいたいと思います。
任意の画像
使用するプロンプトは以下の通りです。
Futuristic female, cyberpunk outfit, neon lights, urban night setting
以下のような結果となりました。
左：元画像、真ん中：抽出した線画、右：生成画像
ControlNet Scribbleの活用例
アイデアの可視化
ControlNet Scribbleは、簡単なスケッチをもとに、頭の中のアイデアを可視化できます。複雑な構想をすばやく形にし、試行錯誤を効率化します。アイデアの共有や初期段階の検討に最適です。
イラスト制作の補助ツール
イラスト制作において、ControlNet Scribbleは簡単なスケッチから完成度の高いアートを生成します。プロンプトでスタイルや背景をカスタマイズ可能で、短時間で多彩な提案ができます。
デザインのラフ案作成
Webや印刷物のラフ案作成に最適で、スケッチから詳細なデザイン案を生成可能です。迅速な案出しやチームでの共有、具体的なフィードバックの取得を支援します。
ControlNet Scribbleに関するFAQ
生成画像の品質を上げるには？
線画を綺麗に描くこと、プロンプトを具体的に記述することが重要です。
どのScribbleモデルを使用すれば良いですか？
それぞれのモデルで生成される線画の特徴が異なります。 いくつかのモデルを試して、自分の用途に合ったモデルを見つけることをおすすめします。
ControlNet Scribbleと他のControlNetモデルを組み合わせることはできますか？
はい、他のControlNetモデルと組み合わせて使用することができます。例えば、Cannyエッジ検出モデルと組み合わせることで、線画のエッジを強調した画像を生成することができます。
まとめ
ControlNet Scribbleを使用することで、簡単な落書きから高品質な画像を生成することができます。この機能を活用することで、画像生成の表現の幅がさらに広がり、創造力を自由に発揮することができます。
本記事が、あなたのStable Diffusion活用の際の参考になれば幸いです。
