Descarga lora inspector - Descargar el código fuente lora inspector

lora inspector

Código Fuente de IA

0.2 Safetensors less than 0.4.0 Version

Descargar

Inspector de lora

Inspector de lora
- Instalar
- Uso
  - Inspeccionar
  - Guardar meta
  - Pesos promedio
  - Frecuencia de etiqueta
  - Conjunto de datos
  - Definición
- Actualizar metadatos
  - Uso
- Colegio de cambios
- Desarrollo
- Futuro
- Referencia

lora-inspector

Inspeccione los archivos de Lora para obtener meta información y análisis cuantitativo de los pesos de Lora.

Ver parámetros de entrenamiento
Extraer metadatos para almacenar (podemos almacenarlo en JSON actualmente)
Solo se admiten safetensors (desea admitir todos los archivos Lora)
Solo metadatos de Kohya-Ss Lora (quiero analizar todos los metadatos en archivos Lora)

Tenga en cuenta que este es un trabajo en progreso y no está destinado al uso de producción. NOTA

Considere usar el nuevo Inspector de la Interfaz Web Lora para una representación de GUI.

Instalar

Clone este repositorio o descargue el archivo de script de Python.

Requiere dependencias:

 torch
safetensors
tqdm

Puede instalarlos uno de los siguientes:

Agregue este script a su directorio de entrenamiento y use el entorno virtual ( venv ). RECOMENDADO
Hacer/usar con un venv/conda
pip install safetensors tqdm (consulte Inicio para obtener instrucciones sobre cómo instalar Pytorch)

Uso

Inspeccionar

$ python lora-inspector.py --help
usage: lora-inspector.py [-h] [-s] [-w] [-t] [-d] lora_file_or_dir

positional arguments:
  lora_file_or_dir  Directory containing the lora files

options:
  -h, --help        show this help message and exit
  -s, --save_meta   Should we save the metadata to a file ?
  -w, --weights     Show the average magnitude and strength of the weights
  -t, --tags        Show the most common tags in the training set
  -d, --dataset     Show the dataset metadata including directory names and number of images

Puede agregar un directorio o archivo:

$ python lora-inspector.py /mnt/900/training/sets/landscape-2023-11-06-200718-e4d7120b -w
/mnt/900/training/sets/landscape-2023-11-06-200718-e4d7120b/landscape-2023-11-06-200718-e4d7120b-000015.safetensors
Date: 2023-11-06T20:16:34 Title: landscape
License: CreativeML Open RAIL-M Author: rockerBOO
Description: High quality landscape photos
Resolution: 512x512 Architecture: stable-diffusion-v1/lora
Network Dim/Rank: 16.0 Alpha: 8.0 Dropout: 0.3 dtype: torch.float32
Module: networks.lora : { ' block_dims ' : ' 4,4,4,4,4,4,4,4,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8 ' , ' block_alphas ' : ' 16,16,16,16,16,16,16,16,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32 ' , ' block_dropout ' : ' 0.01, 0.010620912260804992, 0.01248099020159499, 0.015572268683063176, 0.01988151037617019, 0.02539026244641935, 0.032074935571726845, 0.03990690495552037, 0.04885263290251277, 0.058873812432261884, 0.0699275313155418, 0.08196645583109653, 0.09493903345590124, 0.10878971362098, 0.12345918558747097, 0.13888463242431537, 0.155, 0.17173627983648962, 0.18902180461412393, 0.20678255506208312, 0.22494247692026895, 0.2434238066153228, 0.26214740425618505, 0.2810330925232585 ' , ' dropout ' : 0.3}
Learning Rate (LR): 2e-06 UNet LR: 1.0 TE LR: 1.0
Optimizer: prodigyopt.prodigy.Prodigy(weight_decay=0.1,betas=(0.9, 0.9999),d_coef=1.5,use_bias_correction=True)
Scheduler: cosine  Warmup steps: 0
Epoch: 15 Batches per epoch: 57 Gradient accumulation steps: 24
Train images: 57 Regularization images: 0
Noise offset: 0.05 Adaptive noise scale: 0.01 IP noise gamma: 0.1  Multires noise discount: 0.3
Min SNR gamma: 5.0 Zero terminal SNR: True Debiased Estimation: True
UNet weight average magnitude: 0.7865518983141094
UNet weight average strength: 0.00995593195090544
No Text Encoder found in this LoRA
----------------------
/mnt/900/training/sets/landscape-2023-11-06-200718-e4d7120b/landscape-2023-11-06-200718-e4d7120b.safetensors
Date: 2023-11-06T20:27:12 Title: landscape
License: CreativeML Open RAIL-M Author: rockerBOO
Description: High quality landscape photos
Resolution: 512x512 Architecture: stable-diffusion-v1/lora
Network Dim/Rank: 16.0 Alpha: 8.0 Dropout: 0.3 dtype: torch.float32
Module: networks.lora : { ' block_dims ' : ' 4,4,4,4,4,4,4,4,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8 ' , ' block_alphas ' : ' 16,16,16,16,16,16,16,16,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32 ' , ' block_dropout ' : ' 0.01, 0.010620912260804992, 0.01248099020159499, 0.015572268683063176, 0.01988151037617019, 0.02539026244641935, 0.032074935571726845, 0.03990690495552037, 0.04885263290251277, 0.058873812432261884, 0.0699275313155418, 0.08196645583109653, 0.09493903345590124, 0.10878971362098, 0.12345918558747097, 0.13888463242431537, 0.155, 0.17173627983648962, 0.18902180461412393, 0.20678255506208312, 0.22494247692026895, 0.2434238066153228, 0.26214740425618505, 0.2810330925232585 ' , ' dropout ' : 0.3}
Learning Rate (LR): 2e-06 UNet LR: 1.0 TE LR: 1.0
Optimizer: prodigyopt.prodigy.Prodigy(weight_decay=0.1,betas=(0.9, 0.9999),d_coef=1.5,use_bias_correction=True)
Scheduler: cosine  Warmup steps: 0
Epoch: 30 Batches per epoch: 57 Gradient accumulation steps: 24
Train images: 57 Regularization images: 0
Noise offset: 0.05 Adaptive noise scale: 0.01 IP noise gamma: 0.1  Multires noise discount: 0.3
Min SNR gamma: 5.0 Zero terminal SNR: True Debiased Estimation: True
UNet weight average magnitude: 0.8033398082829257
UNet weight average strength: 0.010114916750103732
No Text Encoder found in this LoRA
----------------------

$ python lora-inspector.py /mnt/900/lora/testing/landscape-2023-11-06-200718-e4d7120b.safetensors
/mnt/900/lora/testing/landscape-2023-11-06-200718-e4d7120b.safetensors
Date: 2023-11-06T20:27:12 Title: landscape
License: CreativeML Open RAIL-M Author: rockerBOO
Description: High quality landscape photos
Resolution: 512x512 Architecture: stable-diffusion-v1/lora
Network Dim/Rank: 16.0 Alpha: 8.0 Dropout: 0.3 dtype: torch.float32
Module: networks.lora : { ' block_dims ' : ' 4,4,4,4,4,4,4,4,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8 ' , ' block_alphas ' : ' 16,16,16,16,16,16,16,16,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32 ' , ' block_dropout ' : ' 0.01, 0.010620912260804992, 0.01248099020159499, 0.015572268683063176, 0.01988151037617019, 0.02539026244641935, 0.032074935571726845, 0.03990690495552037, 0.04885263290251277, 0.058873812432261884, 0.0699275313155418, 0.08196645583109653, 0.09493903345590124, 0.10878971362098, 0.12345918558747097, 0.13888463242431537, 0.155, 0.17173627983648962, 0.18902180461412393, 0.20678255506208312, 0.22494247692026895, 0.2434238066153228, 0.26214740425618505, 0.2810330925232585 ' , ' dropout ' : 0.3}
Learning Rate (LR): 2e-06 UNet LR: 1.0 TE LR: 1.0
Optimizer: prodigyopt.prodigy.Prodigy(weight_decay=0.1,betas=(0.9, 0.9999),d_coef=1.5,use_bias_correction=True)
Scheduler: cosine  Warmup steps: 0
Epoch: 30 Batches per epoch: 57 Gradient accumulation steps: 24
Train images: 57 Regularization images: 0
Noise offset: 0.05 Adaptive noise scale: 0.01 IP noise gamma: 0.1  Multires noise discount: 0.3
Min SNR gamma: 5.0 Zero terminal SNR: True Debiased Estimation: True
UNet weight average magnitude: 0.8033398082829257
UNet weight average strength: 0.010114916750103732
No Text Encoder found in this LoRA
----------------------

Guardar meta

También tenemos apoyo para guardar el meta que se extrae y se convierte de las cuerdas. Luego podemos guardarlos en un archivo JSON. Estos guardarán los metadatos en meta/alorafile.safetensors-{session_id}.json en el directorio de trabajo actual.

$ python lora-inspector.py ~ /loras/alorafile.safetensors --save_meta

$ python lora-inspector.py /mnt/900/training/cyberpunk-anime-21-min-snr/unet-1.15-te-1.15-noise-0.1-steps--linear-DAdaptation-networks.lora/last.safetensors --save_meta
/mnt/900/training/cyberpunk-anime-21-min-snr/unet-1.15-te-1.15-noise-0.1-steps--linear-DAdaptation-networks.lora/last.safetensors
train images: 1005 regularization images: 32000
learning rate: 1.15 unet: 1.15 text encoder: 1.15
epoch: 1 batches: 2025
optimizer: dadaptation.dadapt_adam.DAdaptAdam lr scheduler: linear
network dim/rank: 8.0 alpha: 4.0 module: networks.lora
----------------------

Pesos promedio

Encuentre la magnitud promedio y la resistencia promedio de sus pesos. Compare estos con otras loras para ver cuán potentes o no tan poderosos son sus pesos. Nota Los pesos que se muestran no son concluyentes a un buen valor. Son un ejemplo inicial.

$ python lora-inspector.py /mnt/900/lora/studioGhibliStyle_offset.safetensors -w
UNet weight average magnitude: 4.299801171795097
UNet weight average strength: 0.01127891692482733
Text Encoder weight average magnitude: 3.128134997225176
Text Encoder weight average strength: 0.00769676965767913

Frecuencia de etiqueta

Muestra la frecuencia de una etiqueta (palabras separadas por comas). Las palabras de activación son generalmente las más frecuentes, ya que usarían esa palabra en todo el conjunto de datos de entrenamiento.

 $ python lora-inspector.py -t /mnt/900/lora/booscapes.safetensors
...
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
Tags
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
4k photo”                         23
spectacular mountains             17
award winning nature photo        16
ryan dyar                         14
image credit nasa nat geo         11
sunset in a valley                11
garden                            10
british columbia                  10
dramatic autumn landscape         10
autumn mountains                  10
an amazing landscape image        10
austria                           9
nature scenery                    9
pristine water                    9
boreal forest                     9
scenic view of river              9
alpes                             9
mythical floral hills             8
misty environment                 8
a photo of a lake on a sunny day  8
majestic beautiful world          8
breathtaking stars                8
lush valley                       7
dramatic scenery                  7
solar storm                       7
siberia                           7
cosmic skies                      7
dolomites                         7
oregon                            6
landscape photography 4k          6
very long spires                  6
beautiful forests and trees       6
wildscapes                        6
mountain behind meadow            6
colorful wildflowers              6
photo of green river              6
beautiful night sky               6
switzerland                       6
natural dynamic range color       6
middle earth                      6
jessica rossier color scheme      6
arizona                           6
enchanting and otherworldly       6

Conjunto de datos

Una vista bastante básica del conjunto de datos con los directorios y el número de imágenes.

 $ python lora-inspector.py -d /mnt/900/lora/booscapes.safetensors
Dataset dirs: 2
    [source] 50 images
    [p7] 4 images

Definición

época: una época está viendo todo el conjunto de datos una vez
Lotes por época: cuántos lotes por cada época (no incluye pasos de acumulación de gradiente)
Pasos de acumulación de gradiente: Pasos de acumulación de gradiente
Imágenes de tren: número de imágenes de entrenamiento que tienes
Imágenes de regularización: número de imágenes de regularización
Scheduler: The Learning Tase Scheduler (Cosine, Cosine_With_Restart, Lineal, Constant, ...)
Optimizer: The Optimizer (Adam, Prodigy, Dadaptation, Lion, ...)
Dim/rango de la red: el rango de la red Lora
Alfa: el alfa al rango de la red Lora
Módulo: el módulo Python que creó la red
Compensación de ruido: opción de desplazamiento de ruido
Escala de ruido adaptativo: escala de ruido adaptativo
IP Noise Gamma: perturbación de entrada ruido Gamma La perturbación de entrada de la entrada reduce el sesgo de exposición en los modelos de difusión
- ... Proponemos una regularización de entrenamiento muy simple pero efectiva, que consiste en perturbar las muestras de verdad del suelo para simular los errores de predicción del tiempo de inferencia.
Descuento de ruido múltiple: descuento de ruido múltiple (ver ruido de resolución múltiple para el entrenamiento del modelo de difusión)
Escala de ruido de múltiples: escala de ruido múltiple
Magnitud promedio: cuadrado cada peso, agrégalos, obtenga la raíz cuadrada
Fuerza promedio: ABS cada peso, agrégalos, obtenga promedio
Pérdida de estimación debiased: Debias el entrenamiento de los modelos de difusión

Actualizar metadatos

Script simple para actualizar sus valores de metadatos. Útil para cambiar ss_output_name para aplicaciones que usan este valor para establecer un buen nombre.

Para ver sus valores de metadatos actuales, guarde los metadatos usando lora-inspector.py --save_meta ... e inspeccione el archivo json.

 $ python update_metadata.py --help
usage: update_metadata.py [-h] [--key KEY] [--value VALUE] safetensors_file

positional arguments:
  safetensors_file

options:
  -h, --help        show this help message and exit
  --key KEY         Key to change in the metadata
  --value VALUE     Value to set to the metadata

Uso

 $ python update_metadata.py /mnt/900/lora/testing/armored-core-2023-08-02-173642-ddb4785e.safetensors --key ss_output_name --value mechBOO_v2
Updated ss_output_name with mechBOO_v2
Saved to /mnt/900/lora/testing/armored-core-2023-08-02-173642-ddb4785e.safetensors

Colegio de cambios

2023-11-11-Agregar pérdida de estimación debia, dtype (precisión)
2023-10-27-Agregar ruido ip gamma
2023-08-27-Agregar max_grad_norm, normas de peso de escala, pasos de acumulación de gradiente, abandono y conjuntos de datos
2023-08-08-Agregar script de actualizadores de metadatos simples
2023-07-31-Agregar soporte SDXL
2023-07-17-Agregar abandono de red, normas de peso de escala, escala de ruido adaptativo y pasos
2023-07-06-Agregar frecuencia de etiqueta
2023-04-12-Agregar norma de gradiente, metadatos de punto de control de gradiente
2023-04-03-Agregar clip_skip, segmento de las capas de Locon/Conv en pesos promedio
2023-04-03-Agregar ruido_offset, min_snr_gamma (cuando se agrega a kohya-ss) y network_args (para valores de locon)
2023-04-02-Agregar --weights que le permite ver la magnitud y resistencia promedio de sus pesos de codificadores Lora Unet y Text.

Desarrollo

Formateado con black .

Futuro

¿Qué más quieres ver? Haz un problema o un PR.

Casos de uso/ideas en las que esto puede expandirse:

Extraer metadatos de archivos lora que se utilizarán en otro lugar
Coloque los metadatos en una base de datos o motor de búsqueda para encontrar capacitaciones específicas
Encuentre posibles problemas con la capacitación debido a los metadatos
Compare los archivos Lora juntos