機械学習アーカイブ - Planaria Work Log

Apple Silicon（M1 / M2）MacのGPU（Metal / mps）を使ってStable DiffusionのLoRAを学習させる。 環境構築 インストール Miniforgeとかは入っているものとする。 conda create -n kohya_ss python==3.10.9 conda activate kohya_ss # conda install -c apple tensorflow-deps 今はいらないかも… # LoRAの学習用コードをダウンロード git clone https://github.com/bmaltais/kohya_ss.git cd kohya_ss python ./setup/setup_linux.py --platform-requirements-file=requirements_macos_arm64.txt pip install huggingface_hub==0.25.0 # huggingface_hubのcached_downloadに関するエラーが出るのでバージョンを下げる 古いバージョンのインストール手順 仮想環境に入って以下のように環境構築を行う。(ここでは、PythonバージョンはPython 3.10.6で実施した) conda create -n kohya_ss python==3.10.9 conda activate kohya_ss python ./setup/setup_linux.py --platform-requirements-file=requirements_macos_arm64.txt # metal用のpytorchをインストール pip3 install torch torchvision # metal用のtensorflowをインストール conda install -c apple tensorflow-deps # 今はいらないかも… pip3 install tensorflow-macos tensorflow-metal tensorboard # diffusersのインストール pip install diffusers # LoRAの学習用コードをダウンロード git clone https://github.com/bmaltais/kohya_ss.git cd kohya_ss # requirements.txt の tensorflow, tensorboard はコメントアウトする pip install -r requirements.txt Acceleratorの設定 一度設定すれば~/.cache/huggingface/accelerate/default_config.yamlに記録されているので2回目以降は必要ない。 # acceleratorの設定をする accelerate config ＃以下のように答える -------------------------------------------------------------------------------- In which compute environment are you running? This machine -------------------------------------------------------------------------------- Which type of machine are you using? No distributed training Do you want to run your training on CPU only (even if a GPU / Apple Silicon device is available)? [yes/NO]:NO Do you wish to optimize your script with torch dynamo?[yes/NO]:NO -------------------------------------------------------------------------------- Do you wish to use FP16 or BF16 (mixed precision)? no accelerate configuration saved at ~/.cache/huggingface/accelerate/default_config.yaml 学習用のデータを準備 まずは、学習させたい画像を用意し、Stable Diffusion Web UIにDataset Tag Editorを導入して画像のキャプションテキストを作成する。（詳細はこの記事を参照） 画像とキャプションのtxtファイルが入ったフォルダが用意できたら、kohya_ss/dataset/imagesにフォルダを移動する。この時、images以下に配置するフォルダ名は20_dogsのように「繰り返し回数_トリガーワード」のような命名規則で作成する。 古いバージョンのデータセットの準備方法 詳しくは、配布元の説明を参照すること。 作成場所はどこでも良いが、配布元の説明にあるように、ディレクトリ構造と命名規則は守る。画像のファイル名や種類は適当にする。 学習用のディレクトリを作成する（作成場所・名前は自由/今回はtrainとした） 学習用のディレクトリ配下に学習画像を格納するディレクトリを作る名前は、「&lt;繰り返し回数&gt;_&lt;学習させる概念を表すワード&gt; &lt;学習させる概念を包括するワード&gt;」とする例えば、自分の飼っている犬の画像をpochiという単語に学習させるなら、「20_pochi dog」のようにする 学習データを格納するディレクトリ配下に学習させる画像を入れる（画像のファイル名や種類は適当で良い） 必要であれば正規化用のディレクトリを作成する（作成場所・名前は自由/今回はregとした）正規化画像があると、例えばpochiを学習させる際にdogがpochiに影響されるのを防いでくれるらしい 正規化用のディレクトリ配下に正規化画像を格納するディレクトリを作る名前は、「&lt;繰り返し回数&gt;_&lt;学習させる概念を包括するワード&gt;」とする例えば、自分の買っている犬の画像をpochiという単語に学習させるなら、「20_dog」のようにする 学習元のモデルに&lt;学習させる概念を包括するワード&gt;（今回はdog）をプロンプトに入力して、正規化画像を生成する 正規化画像を格納するディレクトリ配下に正規化画像を入れる（画像のファイル名や種類は適当で良い） LoRAの出力用のディレクトリを作成する（作成場所・名前は自由/今回はoutputsとした） . ├── train │ └── 20_pochi dog │ ├── AAA1.jpg │ ├── AAA2.jpg │ ├── AAA3.jpg ├── reg │ └── 20_dog │ ├── BBB1.png │ ├── BBB2.png │ ├── BBB3.png │ ├── BBB4.png │ ├── BBB5.png └── outputs 学習の実行 GUIの起動は以下のようにする。 python kohya_gui.py Lora>Trainingを選択し、以下の設定を変更する。 Model&gt;Image folderに先ほど配置した学習画像が入ったフォルダの親を指定するここでは、kohya_ss/dataset/imagesを指定すれば良い Folders&gt;Output directory for trained modelにLoRA モデルの保存先を設定するここでは、kohya_ss/outputs/20_dogsとした また、MacでGPUを使用する場合は以下のように設定しなければ動かない。 Accelerate launch>Mixed precisionをnoに設定する。（その半精度以下のオプションは選択しない;fp16,bf16,fp8みたいなやつはチェックしない） Advanced>Weights>CrossAttentionのxformersをnoneに設定する。 Parameters>OptimizerをAdamWに設定する。（AdamW_8bitのような量子化を使用するものでなければ何でも良い） その他の項目は適当に設定すれば良い。以下を確認して設定するか、別の解説記事を参照してください。 筆者の設定の詳細 以下の設定をconfigのような名前で保存し、Configurationの部分で作成したconfigファイルを読み込めば設定がロードできる。メモリの容量によってはオーバーフロして動かないので、train_batch_sizeとgradient_accumulation_steps（勾配累積）で調整する。例えば、train_batch_size=2でgradient_accumulation_steps=8の場合は実質的にバッチサイズ16のような結果が得られる。 { &quot;LoRA_type&quot;: &quot;Standard&quot;, &quot;LyCORIS_preset&quot;: &quot;full&quot;, &quot;adaptive_noise_scale&quot;: 0, &quot;additional_parameters&quot;: &quot;&quot;, &quot;async_upload&quot;: false, &quot;block_alphas&quot;: &quot;&quot;, &quot;block_dims&quot;: &quot;&quot;, &quot;block_lr_zero_threshold&quot;: &quot;&quot;, &quot;bucket_no_upscale&quot;: true, &quot;bucket_reso_steps&quot;: 64, &quot;bypass_mode&quot;: false, &quot;cache_latents&quot;: true, &quot;cache_latents_to_disk&quot;: false, &quot;caption_dropout_every_n_epochs&quot;: 0, &quot;caption_dropout_rate&quot;: 0, &quot;caption_extension&quot;: &quot;.txt&quot;, &quot;clip_skip&quot;: 2, &quot;color_aug&quot;: false, &quot;constrain&quot;: 0, &quot;conv_alpha&quot;: 1, &quot;conv_block_alphas&quot;: &quot;&quot;, &quot;conv_block_dims&quot;: &quot;&quot;, &quot;conv_dim&quot;: 1, &quot;dataset_config&quot;: &quot;&quot;, &quot;debiased_estimation_loss&quot;: false, &quot;decompose_both&quot;: false, &quot;dim_from_weights&quot;: false, &quot;dora_wd&quot;: false, &quot;down_lr_weight&quot;: &quot;&quot;, &quot;dynamo_backend&quot;: &quot;no&quot;, &quot;dynamo_mode&quot;: &quot;default&quot;, &quot;dynamo_use_dynamic&quot;: false, &quot;dynamo_use_fullgraph&quot;: false, &quot;enable_bucket&quot;: true, &quot;epoch&quot;: 8, &quot;extra_accelerate_launch_args&quot;: &quot;&quot;, &quot;factor&quot;: -1, &quot;flip_aug&quot;: false, &quot;fp8_base&quot;: false, &quot;full_bf16&quot;: false, &quot;full_fp16&quot;: false, &quot;gpu_ids&quot;: &quot;&quot;, &quot;gradient_accumulation_steps&quot;: 8, &quot;gradient_checkpointing&quot;: false, &quot;huber_c&quot;: 0.1, &quot;huber_schedule&quot;: &quot;snr&quot;, &quot;huggingface_path_in_repo&quot;: &quot;&quot;, &quot;huggingface_repo_id&quot;: &quot;&quot;, &quot;huggingface_repo_type&quot;: &quot;&quot;, &quot;huggingface_repo_visibility&quot;: &quot;&quot;, &quot;huggingface_token&quot;: &quot;&quot;, &quot;ip_noise_gamma&quot;: 0, &quot;ip_noise_gamma_random_strength&quot;: false, &quot;keep_tokens&quot;: 0, &quot;learning_rate&quot;: 0.0001, &quot;log_tracker_config&quot;: &quot;&quot;, &quot;log_tracker_name&quot;: &quot;&quot;, &quot;log_with&quot;: &quot;&quot;, &quot;logging_dir&quot;: &quot;&quot;, &quot;loss_type&quot;: &quot;l2&quot;, &quot;lr_scheduler&quot;: &quot;cosine&quot;, &quot;lr_scheduler_args&quot;: &quot;&quot;, &quot;lr_scheduler_num_cycles&quot;: 1, &quot;lr_scheduler_power&quot;: 1, &quot;lr_warmup&quot;: 10, &quot;main_process_port&quot;: 0, &quot;masked_loss&quot;: false, &quot;max_bucket_reso&quot;: 2048, &quot;max_data_loader_n_workers&quot;: 0, &quot;max_grad_norm&quot;: 1, &quot;max_resolution&quot;: &quot;512,512&quot;, &quot;max_timestep&quot;: 1000, &quot;max_token_length&quot;: 75, &quot;max_train_epochs&quot;: 0, &quot;max_train_steps&quot;: 0, &quot;mem_eff_attn&quot;: false, &quot;metadata_author&quot;: &quot;&quot;, &quot;metadata_description&quot;: &quot;&quot;, &quot;metadata_license&quot;: &quot;&quot;, &quot;metadata_tags&quot;: &quot;&quot;, &quot;metadata_title&quot;: &quot;&quot;, &quot;mid_lr_weight&quot;: &quot;&quot;, &quot;min_bucket_reso&quot;: 256, &quot;min_snr_gamma&quot;: 0, &quot;min_timestep&quot;: 0, &quot;mixed_precision&quot;: &quot;no&quot;, &quot;model_list&quot;: &quot;&quot;, &quot;module_dropout&quot;: 0, &quot;multi_gpu&quot;: false, &quot;multires_noise_discount&quot;: 0.3, &quot;multires_noise_iterations&quot;: 0, &quot;network_alpha&quot;: 1, &quot;network_dim&quot;: 8, &quot;network_dropout&quot;: 0, &quot;network_weights&quot;: &quot;&quot;, &quot;noise_offset&quot;: 0, &quot;noise_offset_random_strength&quot;: false, &quot;noise_offset_type&quot;: &quot;Original&quot;, &quot;num_cpu_threads_per_process&quot;: 2, &quot;num_machines&quot;: 1, &quot;num_processes&quot;: 1, &quot;optimizer&quot;: &quot;AdamW&quot;, &quot;optimizer_args&quot;: &quot;&quot;, &quot;output_dir&quot;: &quot;./outputs/20_dogs&quot;, &quot;output_name&quot;: &quot;last&quot;, &quot;persistent_data_loader_workers&quot;: false, &quot;pretrained_model_name_or_path&quot;: &quot;runwayml/stable-diffusion-v1-5&quot;, &quot;prior_loss_weight&quot;: 1, &quot;random_crop&quot;: false, &quot;rank_dropout&quot;: 0, &quot;rank_dropout_scale&quot;: false, &quot;reg_data_dir&quot;: &quot;&quot;, &quot;rescaled&quot;: false, &quot;resume&quot;: &quot;&quot;, &quot;resume_from_huggingface&quot;: &quot;&quot;, &quot;sample_every_n_epochs&quot;: 0, &quot;sample_every_n_steps&quot;: 10, &quot;sample_prompts&quot;: &quot;dogs&quot;, &quot;sample_sampler&quot;: &quot;euler_a&quot;, &quot;save_as_bool&quot;: false, &quot;save_every_n_epochs&quot;: 1, &quot;save_every_n_steps&quot;: 20, &quot;save_last_n_steps&quot;: 10, &quot;save_last_n_steps_state&quot;: 0, &quot;save_model_as&quot;: &quot;safetensors&quot;, &quot;save_precision&quot;: &quot;float&quot;, &quot;save_state&quot;: false, &quot;save_state_on_train_end&quot;: false, &quot;save_state_to_huggingface&quot;: false, &quot;scale_v_pred_loss_like_noise_pred&quot;: false, &quot;scale_weight_norms&quot;: 0, &quot;sdxl&quot;: false, &quot;sdxl_cache_text_encoder_outputs&quot;: false, &quot;sdxl_no_half_vae&quot;: false, &quot;seed&quot;: 0, &quot;shuffle_caption&quot;: false, &quot;stop_text_encoder_training&quot;: 0, &quot;text_encoder_lr&quot;: 0.0001, &quot;train_batch_size&quot;: 2, &quot;train_data_dir&quot;: &quot;./dataset/images&quot;, &quot;train_norm&quot;: false, &quot;train_on_input&quot;: true, &quot;training_comment&quot;: &quot;&quot;, &quot;unet_lr&quot;: 0.0001, &quot;unit&quot;: 1, &quot;up_lr_weight&quot;: &quot;&quot;, &quot;use_cp&quot;: false, &quot;use_scalar&quot;: false, &quot;use_tucker&quot;: false, &quot;v2&quot;: false, &quot;v_parameterization&quot;: false, &quot;v_pred_like_loss&quot;: 0, &quot;vae&quot;: &quot;&quot;, &quot;vae_batch_size&quot;: 0, &quot;wandb_api_key&quot;: &quot;&quot;, &quot;wandb_run_name&quot;: &quot;&quot;, &quot;weighted_captions&quot;: false, &quot;xformers&quot;: &quot;none&quot; } 学習時に途中経過のサンプル画像を生成したい場合 Samplesの部分を設定すれば途中経過を生成してくれるが、Macだと動かないので、kohya_ss/sd-scripts/library/train_util.pyを開いて、以下の箇所を修正する。 cuda_rng_state = torch.cuda.get_rng_state() if torch.cuda.is_available() else Noneをcuda_rng_state = torch.get_rng_state() if torch.backends.mps.is_available() else Noneに書き換える。 torch.cuda.set_rng_state(cuda_rng_state)をtorch.set_rng_state(cuda_rng_state)に書き換える。 torch.cuda.manual_seed(seed)を#torch.cuda.manual_seed(seed)に書き換えてコメントアウトする。 torch.cuda.seed()を#torch.cuda.seed()に書き換えてコメントアウトする。 また、以下の部分も書き換える。 with torch.cuda.device(torch.cuda.current_device()): torch.cuda.empty_cache() の部分を with torch.device(&quot;mps&quot; if torch.backends.mps.is_available() else &quot;cpu&quot;): torch.mps.empty_cache() に書き換える。 古いバージョンの学習方法 kohya_gui.pyを使いたいが、UI周りのエラーが出て解消する気力がなかったので、とりあえずCUIを使う。(コピペしてzsh: no such file or directoryが出たら\の後ろに余分な空白が無いか確認する) accelerate launch --num_cpu_threads_per_process 4 train_network.py \ --pretrained_model_name_or_path=&quot;your_base_model_path/model_name.safetensors&quot; \ --train_data_dir=&quot;kohya_ss/data/train&quot; \ --reg_data_dir=&quot;kohya_ss/data/reg&quot; \ --prior_loss_weight=1.0 --resolution 512 \ --output_dir=&quot;kohya_ss/data/outputs&quot; \ --output_name=your_lora_name \ --train_batch_size=2 --learning_rate=1e-4 --max_train_epochs 4 \ --seed 42 --save_model_as=safetensors --save_every_n_epochs=1 \ --max_data_loader_n_workers=1 \ --network_module=networks.lora --network_dim=4 \ --training_comment=&quot;activate by pochi dog&quot; \ --enable_bucket --bucket_no_upscale \ --optimizer_type=&quot;AdamW&quot; --mixed_precision=&quot;no&quot; --save_precision=&quot;float&quot; --pretrained_model_name_or_path：学習元のモデルへのパス --train_data_dir：学習用ディレクトリへのパス（今回はtrainディレクトリ） --reg_data_dir：正規化用ディレクトリへのパス（今回はregディレクトリ） --max_train_epochs：エポック数 --output_name：LoRAの名前（自由） --enable_bucket --bucket_no_upscale：学習に使う画像が大きすぎると怒られるので設定した --train_batch_size：ミニバッチサイズ（メモリに合わせて変更する） --optimizer_type：オプティマイザーとか好きなのを使いたいなら変更する 上記の引数はとりあえず動くように調整したものなので、学習を効率的に行うには要調整。ただし、fp16とかAdamW8bitとかを使おうとすると多分動かないので注意。また、実行環境がM1Max（64GB）なのでメモリ周りは調整が必要かも… その他、引数については配布元のページを参照すること。https://github.com/kohya-ss/sd-scripts/blob/main/train_README-ja.mdhttps://github.com/kohya-ss/sd-scripts/blob/main/train_network_README-ja.md 学習時に途中経過のサンプル画像を生成したい場合 学習を開始するコマンドに引数を追加する --sample_every_n_epochs=1 \ --sample_sampler=&quot;k_euler_a&quot; \ --sample_prompts=&quot;kohya_ss/data/prompt.txt&quot; 生成用のプロンプトをテキストファイルに保存しておく。 # prompt 1 pochi, run --w 512 --h 512 --d 1 --l 7.5 --s 20 生成用のコードがcuda用なので、kohya_ss/library/train_util.py内にあるcudaと書かれている部分をmpsに書き換えてmps用に改変する。（テキストエディタの置換であっさりと通った） 変更箇所の詳細 以下の箇所を変更しました。 ① 2939行目 ② 3330行目 ③ 3387行目 ④ 3434行目・3437行目 ただし、ダウンロードしたコードのバージョンによってはうまくいかない可能性があります。ちなみに、筆者の環境でダウンロードしているkohya_ssレポジトリのコミットのハッシュは 52dd50fb91841ecdbb3c7b89df3ca9944ec00216 です。その場合は、最新のコードに合わせて修正するか、以下のように筆者の環境とバージョンを揃えてコードを修正してみてください。 git clone https://github.com/bmaltais/kohya_ss.git cd kohya_ss git branch test_branch 52dd50fb91841ecdbb3c7b89df3ca9944ec00216 git checkout test_branch Pytorchバージョンの注意 Pytorch1.13.0前後のバージョンを使用していると、LossがNaNになるというバグがある。https://github.com/pytorch/pytorch/issues/88331 現在は修正されているので、アップグレードする。 pip3 install -U torch torchvision torchaudio 学習したLoRAを使用する 学習したモデルはoutput_dirで指定したディレクトリ（ここではkohya_ss/outputs/20_dogs）に保存されている。あとは、web-uiなどを使って普通にLoRAを使用すればよい。

機械学習

３層ニューラルネットワーク

学習は問題ないのにテスト時にtorch.load・load_state_dictでCUDA out of memoryが出る場合

DeepSpeedについてのメモ

Trainerについてのメモ

PEFTライブラリを使用して自由にLoRAチューニングする方法

GPTについてのメモ

Transformerについてのメモ

LoRAについての解説メモ

LLMにおいてPEFTを使ってLoRAでテキスト分類用の学習を行う際のメモ

Apple Silicon（M1 / M2）MacのGPUでStable DiffusionのLoRAを学習（2025/3/8更新）