Stable DiffusionをM1 MacでTextual Inversion

2022年10月16日
Memo

目次

ダウンロードとセットアップ

https://github.com/invoke-ai/InvokeAI/blob/main/docs/installation/INSTALL_MAC.md

git clone https://github.com/invoke-ai/InvokeAI.git
cd InvokeAI
git clone https://huggingface.co/CompVis/stable-diffusion-v-1-4-original
mkdir -p models/ldm/stable-diffusion-v1/
ln -s stable-diffusion-v-1-4-original/sd-v1-4.ckpt models/ldm/stable-diffusion-v1/model.ckpt
PIP_EXISTS_ACTION=w CONDA_SUBDIR=osx-arm64 conda env create -f environment-mac.yml
conda activate invokeai

トレーニング

https://github.com/invoke-ai/InvokeAI/blob/main/docs/features/TEXTUAL_INVERSION.md

python3 ./main.py -t \
    --base ./configs/stable-diffusion/v1-finetune.yaml \
    --actual_resume ./models/ldm/stable-diffusion-v1/model.ckpt \
    -n "my_cat" \
    --data_root your_images_dir_path \
    --init_word 'cat'

学習パラメータはconfigs/stable_diffusion/v1-finetune.yamlを書き換えて調整する。

ctrl+cで学習終了。

学習結果は、logs以下に出力される。

推論

python3 ./scripts/invoke.py \
    --embedding_path /path/to/embedding.pt

invoke> "a photo of *"

invoke> "waterfall and rainbow in the style of *" --init_img=./init-images/crude_drawing.png --strength=0.5 -s100 -n4