e5 mistral 7b instruct

E5-MISTRAL-7B-ISTRAUT

docker build -t pytorch . 

docker run --gpus=all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 -it --rm -v $( pwd ) :/e5-mistral-7b-instruct/ pytorch bash

Daten vorbereiten

Rühren Sie prepare_dataset aus, um einen Ähnlichkeitsdatensatz mit einem postiven und negativen Paar von SNLI zu erstellen.

python prepare_dataset.py

Modell laufen

Legen Sie den Model -Cache -Ordner export TRANSFORMERS_CACHE=.cache/

Führen Sie zunächst accelerate config --config_file ds_zero3_cpu.yaml

Überprüfen Sie hier die Beispieldatei für einzelne GPU

Im Folgenden wird der Parameter aus dem Papier zur Finetunierung entnommen. Passen Sie die Abnahme an Ihren Datensatz und Ihren Usecase an.

accelerate launch 
    --config_file ds_zero3_cpu.yaml 
    peft_lora_embedding_semantic_search.py 
    --dataset_name similarity_dataset 
    --max_length 512 
    --model_name_or_path intfloat/e5-mistral-7b-instruct 
    --per_device_train_batch_size 1 
    --per_device_eval_batch_size 1 
    --learning_rate 0.0001 
    --weight_decay 0.01 
    --max_train_steps 1000 
    --gradient_accumulation_steps 2048 
    --lr_scheduler_type linear 
    --num_warmup_steps 100 
    --output_dir trained_model 
    --use_peft

Verlustfunktion von hier kopiert-> https://github.com/relbers/info-nce-pytorch