ヴェズルフェルニルの研究ノート

座右の銘「ただ一人犀の角のように歩め」的な研究活動ノート

Easy DiffusionによるStable Diffusion画像生成ことはじめ

いま流行りの生成系AIについに手を出し始めた。生成系AIで一番やってみたかったのは画像・動画の生成なので、Stable Diffusionを使ってみることから始めた。

オープンソースのStable Diffusionを利用した画像生成プログラムがいくつか存在するが、その中からEasy Diffusionというものを選択して動かしみた。

easydiffusion.github.io

GPU搭載ノートPCとIntel Macの両方で試してみた。

ちなみに、前者のスペックは以下のとおり。

 CPU : AMD Ryzen 9 5900HX(コア数 8,スレッド数 16)
    動作周波数(標準/最大):3.3GHz/4.6GHz
 メモリ : 32GB
 GPU : NVIDIA GeForce RTX 3080 Max-Q VRAM 16GB

なお、NVIDIA GPU搭載機ではあらかじめCUDA ToolkitとcuDNNをインストールしておく必要があるが、これらについては説明を省略する。

Easy Diffusionのインストール

Easy Diffusionのインストールはすごく簡単だ。

ダウンロードしたzipファイルを解凍して、作成されたディレクトリの中でstart.shというシェルスクリプトを実行するだけだ。

cd easy-diffusion
./start.sh

このシェルスクリプトPython仮想環境、Pythonライブラリ、Stable Diffusion本体、モデルファイルなどすべてのコンポーネントのインストールをやってくれる。

Easy Diffusionの動作確認

上記のシェルスクリプトによるインストールが完了すると、自動的にブラウザが起動して、そこに下のようなEasy DiffusionのUI画面が表示される(ベージURLはlocalhost:9000)。

[Enter Prompt]テキストボックスに生成したい画像について説明する文言を入力して、[Make Image]ボタンを押せば画像の生成が開始される。

上述スペックのGPU搭載機だと、サイズ512x512 1枚のみの画像の生成に4秒位だが、Intel Mac(CPU:Core i9 2.9GHz 6コア/12スレッド,メモリ:32GB)だと4分位かかる。あらかじめ判っていたことだが、画像生成AIの利用にはGPUが必須だと言えるだろう。

Easy Diffusionのモデル適用方法

最近多くのサイトで観られるリアル系美女、コスプレ、アニメ調などのAI画像は元となるモデルファイルを利用して、それをStable Diffusionなどの画像生成AIに適用することで作成されている。

こういう画像生成AI用モデルを配布しているサイトがいくつかあるが、その中で一番有名なのがCivitaiだ。このサイトから適当に選んだモデルを入手して、Easy Diffusionを使って画像の作成をやってみた。

civitai.com

上のモデル・ページ内の[ V1.5 - Pruned ]というのを選択してダウンロードしたファイルaniverse_v15Pruned.safetensors(約2.0GB)をディレクトeasy-diffusion/models/stable-diffusionへコピーして、Easy Diffusionを再起動するか、後述の[Model]メニュー横の更新ボタンを押すと、追加したモデルの選択が可能になる。モデルの変更は[Generative]タブ画面内の[Image Settings][Model] メニューによって切り替えることができる。

プロンプト文はモデルのページに掲載されているいくつかの例から選んだが、これを工夫することで、自分の目的に合った画像を生成することもできるようになるのかもしれない。画像生成AI用のプロンプト文が掲載されているサイトもたんさん存在している。

しかし、このように自分で作成した画像を晒してしまうと、観た人にその人の嗜好が想像できてしまうなぁ。

いま画像生成AIが大流行しているのは、こういうモデル配布やプロンプト掲載サイトの出現によって、誰でも高品質なAI画像を手軽に作成できるようになったことも影響しているのだろう。

画像生成AIを始めた目的はこの方面で稼ぐ方法を見つけられたらと思っているからだ。ディープラーニング開発の経験はあるので、本気でやればStable Diffusionなどの学習・生成ネットワークモデルを深く理解できる自信はある。その知見からモデルのカスタマイズまでできるようになれば、他の人とは違った画像を作成できるようになれるかもしれない。

動画・絵師クリエーターへの憧れもあったので(技能やセンスがないので諦めていたが)、AIの力を借りているとしても画像生成をやるのはすごく楽しい。これから、しばらく画像生成AIの研究に集中して取り組んでいき、最終的に自分のセンスが反映された画像や動画を作成できるようになりたい。

【参照サイト】

relax-tech.net