Unduh lora inspector - Unduh Kode Sumber lora inspector

lora inspector

Kode Sumber AI

0.2 Safetensors less than 0.4.0 Version

Unduh

Inspektur Lora

Inspektur Lora
- Memasang
- Penggunaan
  - Memeriksa
  - Simpan meta
  - Bobot rata -rata
  - Frekuensi tag
  - Dataset
  - Definisi
- Perbarui metadata
  - Penggunaan
- Changelog
- Perkembangan
- Masa depan
- Referensi

Lora-Inspector

Periksa file Lora untuk info meta dan analisis kuantitatif bobot LORA.

Lihat parameter pelatihan
Ekstrak metadata yang akan disimpan (kami dapat menyimpannya di JSON saat ini)
Hanya safetensors yang didukung (ingin mendukung semua file LORA)
Hanya metadata dari Kohya-SS Lora (ingin menguraikan semua metadata dalam file lora)

Perhatikan ini adalah pekerjaan yang sedang berlangsung dan tidak dimaksudkan untuk penggunaan produksi. CATATAN

Pertimbangkan untuk menggunakan antarmuka web baru Lora Inspector untuk representasi GUI.

Memasang

Klone repo ini atau unduh file skrip Python.

Membutuhkan dependensi:

 torch
safetensors
tqdm

Dapat menginstalnya salah satu dari yang berikut:

Tambahkan skrip ini ke direktori pelatihan Anda dan gunakan lingkungan virtual ( venv ). DIREKOMENDASIKAN
Buat/gunakan dengan venv/conda
pip install safetensors tqdm (lihat Mulai untuk Instruksi tentang Cara Menginstal Pytorch)

Penggunaan

Memeriksa

$ python lora-inspector.py --help
usage: lora-inspector.py [-h] [-s] [-w] [-t] [-d] lora_file_or_dir

positional arguments:
  lora_file_or_dir  Directory containing the lora files

options:
  -h, --help        show this help message and exit
  -s, --save_meta   Should we save the metadata to a file ?
  -w, --weights     Show the average magnitude and strength of the weights
  -t, --tags        Show the most common tags in the training set
  -d, --dataset     Show the dataset metadata including directory names and number of images

Anda dapat menambahkan direktori atau file:

$ python lora-inspector.py /mnt/900/training/sets/landscape-2023-11-06-200718-e4d7120b -w
/mnt/900/training/sets/landscape-2023-11-06-200718-e4d7120b/landscape-2023-11-06-200718-e4d7120b-000015.safetensors
Date: 2023-11-06T20:16:34 Title: landscape
License: CreativeML Open RAIL-M Author: rockerBOO
Description: High quality landscape photos
Resolution: 512x512 Architecture: stable-diffusion-v1/lora
Network Dim/Rank: 16.0 Alpha: 8.0 Dropout: 0.3 dtype: torch.float32
Module: networks.lora : { ' block_dims ' : ' 4,4,4,4,4,4,4,4,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8 ' , ' block_alphas ' : ' 16,16,16,16,16,16,16,16,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32 ' , ' block_dropout ' : ' 0.01, 0.010620912260804992, 0.01248099020159499, 0.015572268683063176, 0.01988151037617019, 0.02539026244641935, 0.032074935571726845, 0.03990690495552037, 0.04885263290251277, 0.058873812432261884, 0.0699275313155418, 0.08196645583109653, 0.09493903345590124, 0.10878971362098, 0.12345918558747097, 0.13888463242431537, 0.155, 0.17173627983648962, 0.18902180461412393, 0.20678255506208312, 0.22494247692026895, 0.2434238066153228, 0.26214740425618505, 0.2810330925232585 ' , ' dropout ' : 0.3}
Learning Rate (LR): 2e-06 UNet LR: 1.0 TE LR: 1.0
Optimizer: prodigyopt.prodigy.Prodigy(weight_decay=0.1,betas=(0.9, 0.9999),d_coef=1.5,use_bias_correction=True)
Scheduler: cosine  Warmup steps: 0
Epoch: 15 Batches per epoch: 57 Gradient accumulation steps: 24
Train images: 57 Regularization images: 0
Noise offset: 0.05 Adaptive noise scale: 0.01 IP noise gamma: 0.1  Multires noise discount: 0.3
Min SNR gamma: 5.0 Zero terminal SNR: True Debiased Estimation: True
UNet weight average magnitude: 0.7865518983141094
UNet weight average strength: 0.00995593195090544
No Text Encoder found in this LoRA
----------------------
/mnt/900/training/sets/landscape-2023-11-06-200718-e4d7120b/landscape-2023-11-06-200718-e4d7120b.safetensors
Date: 2023-11-06T20:27:12 Title: landscape
License: CreativeML Open RAIL-M Author: rockerBOO
Description: High quality landscape photos
Resolution: 512x512 Architecture: stable-diffusion-v1/lora
Network Dim/Rank: 16.0 Alpha: 8.0 Dropout: 0.3 dtype: torch.float32
Module: networks.lora : { ' block_dims ' : ' 4,4,4,4,4,4,4,4,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8 ' , ' block_alphas ' : ' 16,16,16,16,16,16,16,16,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32 ' , ' block_dropout ' : ' 0.01, 0.010620912260804992, 0.01248099020159499, 0.015572268683063176, 0.01988151037617019, 0.02539026244641935, 0.032074935571726845, 0.03990690495552037, 0.04885263290251277, 0.058873812432261884, 0.0699275313155418, 0.08196645583109653, 0.09493903345590124, 0.10878971362098, 0.12345918558747097, 0.13888463242431537, 0.155, 0.17173627983648962, 0.18902180461412393, 0.20678255506208312, 0.22494247692026895, 0.2434238066153228, 0.26214740425618505, 0.2810330925232585 ' , ' dropout ' : 0.3}
Learning Rate (LR): 2e-06 UNet LR: 1.0 TE LR: 1.0
Optimizer: prodigyopt.prodigy.Prodigy(weight_decay=0.1,betas=(0.9, 0.9999),d_coef=1.5,use_bias_correction=True)
Scheduler: cosine  Warmup steps: 0
Epoch: 30 Batches per epoch: 57 Gradient accumulation steps: 24
Train images: 57 Regularization images: 0
Noise offset: 0.05 Adaptive noise scale: 0.01 IP noise gamma: 0.1  Multires noise discount: 0.3
Min SNR gamma: 5.0 Zero terminal SNR: True Debiased Estimation: True
UNet weight average magnitude: 0.8033398082829257
UNet weight average strength: 0.010114916750103732
No Text Encoder found in this LoRA
----------------------

$ python lora-inspector.py /mnt/900/lora/testing/landscape-2023-11-06-200718-e4d7120b.safetensors
/mnt/900/lora/testing/landscape-2023-11-06-200718-e4d7120b.safetensors
Date: 2023-11-06T20:27:12 Title: landscape
License: CreativeML Open RAIL-M Author: rockerBOO
Description: High quality landscape photos
Resolution: 512x512 Architecture: stable-diffusion-v1/lora
Network Dim/Rank: 16.0 Alpha: 8.0 Dropout: 0.3 dtype: torch.float32
Module: networks.lora : { ' block_dims ' : ' 4,4,4,4,4,4,4,4,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8 ' , ' block_alphas ' : ' 16,16,16,16,16,16,16,16,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32 ' , ' block_dropout ' : ' 0.01, 0.010620912260804992, 0.01248099020159499, 0.015572268683063176, 0.01988151037617019, 0.02539026244641935, 0.032074935571726845, 0.03990690495552037, 0.04885263290251277, 0.058873812432261884, 0.0699275313155418, 0.08196645583109653, 0.09493903345590124, 0.10878971362098, 0.12345918558747097, 0.13888463242431537, 0.155, 0.17173627983648962, 0.18902180461412393, 0.20678255506208312, 0.22494247692026895, 0.2434238066153228, 0.26214740425618505, 0.2810330925232585 ' , ' dropout ' : 0.3}
Learning Rate (LR): 2e-06 UNet LR: 1.0 TE LR: 1.0
Optimizer: prodigyopt.prodigy.Prodigy(weight_decay=0.1,betas=(0.9, 0.9999),d_coef=1.5,use_bias_correction=True)
Scheduler: cosine  Warmup steps: 0
Epoch: 30 Batches per epoch: 57 Gradient accumulation steps: 24
Train images: 57 Regularization images: 0
Noise offset: 0.05 Adaptive noise scale: 0.01 IP noise gamma: 0.1  Multires noise discount: 0.3
Min SNR gamma: 5.0 Zero terminal SNR: True Debiased Estimation: True
UNet weight average magnitude: 0.8033398082829257
UNet weight average strength: 0.010114916750103732
No Text Encoder found in this LoRA
----------------------

Simpan meta

Kami juga memiliki dukungan untuk menyimpan meta yang diekstraksi dan dikonversi dari string. Kami kemudian dapat menyimpannya ke file JSON. Ini akan menyimpan metadata ke dalam meta/alorafile.safetensors-{session_id}.json di direktori kerja saat ini.

$ python lora-inspector.py ~ /loras/alorafile.safetensors --save_meta

$ python lora-inspector.py /mnt/900/training/cyberpunk-anime-21-min-snr/unet-1.15-te-1.15-noise-0.1-steps--linear-DAdaptation-networks.lora/last.safetensors --save_meta
/mnt/900/training/cyberpunk-anime-21-min-snr/unet-1.15-te-1.15-noise-0.1-steps--linear-DAdaptation-networks.lora/last.safetensors
train images: 1005 regularization images: 32000
learning rate: 1.15 unet: 1.15 text encoder: 1.15
epoch: 1 batches: 2025
optimizer: dadaptation.dadapt_adam.DAdaptAdam lr scheduler: linear
network dim/rank: 8.0 alpha: 4.0 module: networks.lora
----------------------

Bobot rata -rata

Temukan besarnya rata -rata dan kekuatan rata -rata bobot Anda. Bandingkan ini dengan Loras lain untuk melihat seberapa kuat atau tidak begitu kuat, beban Anda. Catatan bobot yang ditampilkan tidak konklusif untuk nilai yang baik. Mereka adalah contoh awal.

$ python lora-inspector.py /mnt/900/lora/studioGhibliStyle_offset.safetensors -w
UNet weight average magnitude: 4.299801171795097
UNet weight average strength: 0.01127891692482733
Text Encoder weight average magnitude: 3.128134997225176
Text Encoder weight average strength: 0.00769676965767913

Frekuensi tag

Menunjukkan frekuensi tag (kata -kata yang dipisahkan oleh koma). Kata -kata pemicu umumnya paling sering, karena mereka akan menggunakan kata itu di seluruh dataset pelatihan.

 $ python lora-inspector.py -t /mnt/900/lora/booscapes.safetensors
...
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
Tags
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
4k photo”                         23
spectacular mountains             17
award winning nature photo        16
ryan dyar                         14
image credit nasa nat geo         11
sunset in a valley                11
garden                            10
british columbia                  10
dramatic autumn landscape         10
autumn mountains                  10
an amazing landscape image        10
austria                           9
nature scenery                    9
pristine water                    9
boreal forest                     9
scenic view of river              9
alpes                             9
mythical floral hills             8
misty environment                 8
a photo of a lake on a sunny day  8
majestic beautiful world          8
breathtaking stars                8
lush valley                       7
dramatic scenery                  7
solar storm                       7
siberia                           7
cosmic skies                      7
dolomites                         7
oregon                            6
landscape photography 4k          6
very long spires                  6
beautiful forests and trees       6
wildscapes                        6
mountain behind meadow            6
colorful wildflowers              6
photo of green river              6
beautiful night sky               6
switzerland                       6
natural dynamic range color       6
middle earth                      6
jessica rossier color scheme      6
arizona                           6
enchanting and otherworldly       6

Dataset

Tampilan dataset yang cukup mendasar dengan direktori dan jumlah gambar.

 $ python lora-inspector.py -d /mnt/900/lora/booscapes.safetensors
Dataset dirs: 2
    [source] 50 images
    [p7] 4 images

Definisi

Epoch: Epoch melihat seluruh dataset sekali
Batch per zaman: Berapa banyak batch per setiap zaman (tidak termasuk langkah akumulasi gradien)
Langkah Akumulasi Gradien: Langkah Akumulasi Gradien
Latih gambar: Jumlah gambar pelatihan yang Anda miliki
Gambar regularisasi: Jumlah gambar regularisasi
Penjadwal: Penjadwal Tingkat Pembelajaran (Cosine, Cosine_with_Restart, Linear, Constant, ...)
Pengoptimal: Pengoptimal (Adam, Prodigy, Dadaptation, Lion, ...)
Network Dim/Rank: Peringkat Lora Network
Alpha: Alpha ke peringkat jaringan Lora
Modul: Modul Python yang membuat jaringan
Offset Noise: Opsi Offset Kebisingan
Skala Kebisingan Adaptif: Skala Kebisingan Adaptif
IP Noise Gamma: Input gangguan noise gamma Input gangguan mengurangi bias paparan dalam model difusi
- ... Kami mengusulkan regularisasi pelatihan yang sangat sederhana namun efektif, yang terdiri dari mengganggu sampel kebenaran dasar untuk mensimulasikan kesalahan prediksi waktu inferensi.
Diskon Noise Multires: Diskon Noise Multires (lihat Multi-Resolution Noise untuk Pelatihan Model Difusi)
Multires Noise Scale: Multires Noise Scale
Magnitudo Rata -Rata: Kuat setiap bobot, tambahkan, dapatkan akar kuadrat
Kekuatan rata -rata: ABS masing -masing berat, tambahkan, dapatkan rata -rata
Kerugian Estimasi Debias: Debias Pelatihan Model Difusi

Perbarui metadata

Skrip sederhana untuk memperbarui nilai metadata Anda. Membantu untuk mengubah ss_output_name untuk aplikasi yang menggunakan nilai ini untuk menetapkan nama yang baik untuk itu.

Untuk melihat nilai metadata Anda saat ini, simpan metadata menggunakan lora-inspector.py --save_meta ... dan periksa file JSON.

 $ python update_metadata.py --help
usage: update_metadata.py [-h] [--key KEY] [--value VALUE] safetensors_file

positional arguments:
  safetensors_file

options:
  -h, --help        show this help message and exit
  --key KEY         Key to change in the metadata
  --value VALUE     Value to set to the metadata

Penggunaan

 $ python update_metadata.py /mnt/900/lora/testing/armored-core-2023-08-02-173642-ddb4785e.safetensors --key ss_output_name --value mechBOO_v2
Updated ss_output_name with mechBOO_v2
Saved to /mnt/900/lora/testing/armored-core-2023-08-02-173642-ddb4785e.safetensors

Changelog

2023-11-11-Tambahkan kerugian estimasi debias, dType (presisi)
2023-10-27-Tambahkan IP Noise Gamma
2023-08-27-Tambahkan max_grad_norm, norma berat skala, langkah akumulasi gradien, putus sekolah, dan set data
2023-08-08-Tambahkan skrip pembaruan metadata sederhana
2023-07-31-Tambahkan Dukungan SDXL
2023-07-17-Tambahkan Dropout Jaringan, Norma Berat Skala, Skala Kebisingan Adaptif, dan Langkah
2023-07-06-Tambahkan frekuensi tag
2023-04-12-Tambahkan norma gradien, gradien checkpoint metadata
2023-04-03-Tambahkan clip_skip, segmen dari lapisan locon/conv dalam bobot rata-rata
2023-04-03-Tambahkan noise_offset, min_snr_gamma (ketika ditambahkan ke kohya-ss), dan network_args (untuk nilai locon)
2023-04-02-Tambahkan --weights yang memungkinkan Anda untuk melihat besarnya dan kekuatan rata-rata bobot encoder lora unet dan teks Anda.

Perkembangan

Diformat menggunakan black .

Masa depan

Apa lagi yang ingin Anda lihat? Membuat masalah atau PR.

Gunakan kasus/ide yang dapat diperluas ke:

Ekstrak metadata dari file lora yang akan digunakan di tempat lain
Masukkan metadata ke dalam database atau mesin pencari untuk menemukan pelatihan tertentu
Temukan kemungkinan masalah dengan pelatihan karena metadata
Bandingkan file lora bersama -sama