SiLLM examples

Exemplos para usar Sillm

Certifique -se de instalar os requisitos para esses exemplos:

pip install -r requirements-examples.txt

Controlar

Exemplos para vetores de controle de treinamento dos estados ocultos de um modelo que podem ser usados ​​para influenciar o comportamento e gerar saída durante a inferência.

Helpsteer Lora

LORA TREINAMENTO MISTRAL-7B-Instrut-V0.2 com o conjunto de dados da NVIDIA HelpSteer.

Run train.sh no diretório helpsteer para baixar o conjunto de dados e o modelo do HuggingFace e inicie o treinamento da LORA. Você pode personalizar a configuração de treinamento editando config.yml .

DPO-MIX-7K

Treinamento DPO QWEN1.5-7B-ChAT com o conjunto de dados DPO Mix 7K. O treinamento consiste em um ajuste fino supervisionado (SFT), seguido de otimização de preferência direta (DPO).

Run train.sh no diretório dpo-mix-7k para baixar o conjunto de dados e modelo do HuggingFace e inicie o treinamento. Você pode personalizar a configuração de treinamento editando os arquivos de configuração sft.yml e dpo.yml .

MMLU Benchmark

Implementação do benchmark "Entendendo a linguagem múltipla", usando o conjunto de dados MMLU.

Execute mmlu.py com o modelo que você gostaria de avaliar.

MMLU-PRO Benchmark

Implementação do benchmark MMLU-Pro usando o conjunto de dados MMLU-Pro.

Execute mmlu-pro.py com o modelo que você gostaria de avaliar.

Perplexidade

Cálculo de pontuações de perplexidade para um conjunto de dados de amostra de parágrafos de entrada dos artigos da Wikipedia.

Execute perplexity.py com o modelo que você gostaria de avaliar. Adicione as opções de quantização para avaliar a perplexidade com modelos quantizados.