LoRA CLIP
1.0.0
Inserção dinâmica da camada LORA no codificador de imagem ou texto, ou ambos os codificadores.
Carrega o clipe de abertura pré-treinado pesos com segurança no modelo LORA-IF.
Carrega modelos prontos para ajuste fino, corretamente sem congelamento positional_embedding , logit_scale e projeções.
NOTA: Atualmente, suportamos apenas modelos de transformadores de visão no LORA-Identing of Image Coders. Os modelos Resnet serão adicionados em breve.
Importante: verifique se você tem clipe antes de instalar loraclip . Isso pode ser simplesmente feito por
pip install regex ftfy
pip install git+https://github.com/openai/CLIP.git Em seguida, você pode instalar este pacote diretamente usando pip através do comando pip install loraclip . Como alternativa, você pode considerar comprovar isso da fonte por
git clone https://github.com/jaisidhsingh/LoRA-CLIP.git
cd LoRA-CLIP
pip install -e . import loraclip
import argparse
def test_loraclip ( args ):
# Easy-to-use with standard CLIP syntax.
# 1. Dynamic LoRA rank specification
# 2. Specify which encoder(s) to LoRA-ify
model , preprocess = loraclip . load ( args . clip_model_name , device = args . device , r = args . lora_rank , lora_mode = args . lora_mode )
# Utility to preview no. of trainable params along with their % with total params.
loraclip . print_trainable_parameters ( model )
def setup_args ():
parser = argparse . ArgumentParser ()
parser . add_argument ( "--clip-model-name" , type = str , default = "ViT-B/16" )
parser . add_argument ( "--device" , type = str , default = "cuda" )
parser . add_argument ( "--lora-rank" , type = int , default = 4 )
parser . add_argument ( "--lora-mode" , type = str , default = "vision+text" , choices = [ "vision" , "text" , "vision+text" ])
args = parser . parse_args ()
return args
if __name__ == "__main__" :
args = setup_args ()
test_loraclip ( args )https://github.com/openai/clip
https://github.com/sivandoveh/tsvlc
