Stable DiffusionライブラリでAIアートを生成する

Stable Diffusionとは？

Stable Diffusionは、テキストからAIアートを生成するライブラリで、テキストに応じた画像を合成します。

Stable Diffusionは、ロンドンを本拠とするAI企業Stability AIによって開発され、自然言語処理のオープンソースコミュニティHugging Faceで公開されています。

Stable Diffusionは、拡散モデルによる画像合成モデルです。
自然言語で入力されたテキスト(prompt)から画像を生成するText to Imageタスクなどを実現します。

Stable Diffusionは、画像合成モデルLatent Diffusionをベースとして、60億のテキスト画像ペアの学習データセットLAION-5Bを使ってトレーニングされています。

Stable DiffusionでAIアートを作成する手順

Hugging Faceのアクセストークンを取得する

1. Hugging Faceにアクセス
2. 画面右上のSign Upよりアカウントを作成
3. 認証メールが届くのでメールのリンクにアクセス
4. CompVis/stable-diffusion-v1-4に移動
5. I have read the License and agree with its termsにチェック
6. Access repositoryボタンを押下
7. Access Tokensに移動
8. Nameに任意の名前を入力
9. RoleはreadのままでGenerate a tokenボタンを押下

Stable Diffusionをインストールする

!pip install diffusers==0.2.4 transformers scipy ftfy

promptを指定してAIアートを生成する

HF_TOKENにHugging Faceで取得したトークンを入力します。

promptに描きたい画像のキーワードを入力します。

キーワードをカンマで区切ると、複数のキーワードを指定できます。

from diffusers import StableDiffusionPipeline
from datetime import datetime

#HuggingFaceのトークン
HF_TOKEN="xxxxx"

#StableDiffusionのパイプラインをロード
pipe=StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4", use_auth_token=HF_TOKEN)

#使用するデバイスを設定
#pipe.to("cpu") #CPU
pipe.to("cuda") #GPU

#呪文
prompt="dog, newyork, ruin, rain, moss, 8k, washed colors, dramatic lighting"

#画像生成
image=pipe(prompt)["sample"][0]

#生成した画像をファイル出力
date=datetime.now().strftime("%Y%m%d%H%M%S") #現在の日時を取得
path=date + ".png" #ファイル名は生成した日時
image.save(path)