selective peft toolkit

Kit de ferramentas peft seletivo

Visão geral

Bem-vindo ao selective-peft-toolkit , a implementação oficial para o artigo "Unmasking passo a passo para ajustar fino com eficiência de parâmetro de grandes modelos de idiomas" . Este kit de ferramentas fornece uma estrutura flexível para modelos de linguagem grandes de ajuste seletivo, usando diferentes métodos de ajuste fino (PEFT) com eficiência seletiva.

O kit de ferramentas inclui os seguintes métodos PEFT:

• FFT (ajuste fino completo)
• ID3 (nosso método proposto)
• Pafi
• Bitfit

Esses métodos são expostos através de um pacote chamado selective_optimizers , que pode ser instalado via PIP:

pip install selective_optimizers

Principais recursos

• Otimizadores seletivos : Wrappers em torno de otimizadores padrão (subclasses de torch.optim.optimizer) que atualizam seletivamente um número orçamentado de parâmetros no modelo.

• Seleção baseada em heurística : os otimizadores seletivos atualizam os parâmetros de acordo com várias estratégias de heurística e seleção.

• Integração com Transformers : Compatível com Transformers.Trainer para facilitar a integração em seus pipelines existentes.

• Armazenamento eficiente : armazenar pesos modificados em um objeto resumido que ocupa apenas O (b) espaço, onde B é o orçamento.

Instalação

Para instalar o pacote Selective_Optimizers, basta executar:

pip install selective-optimizers

Uso

Fluxo de trabalho de treinamento

Aqui está um fluxo de trabalho básico para treinamento com um otimizador seletivo:

 from selective_optimizers . wrap import get_selective_optimizer
from selective_optimizers . load_store import write_summary_to_disk
from torch . optim import AdamW

# Choose your base optimizer
opt = AdamW

# Specify the PEFT method to use (can be one of “fft”, “id3”, “bitfit”, or “pafi”)
peft_to_use = "id3"

# Get the selective optimizer class
optimizer_class = get_selective_optimizer ( opt , peft_to_use )

# Initialize the optimizer with additional selective parameters
optimizer = optimizer_class (
    params = model . parameters (), 
    lr = 0.0001 , 
    budget = 100000 , 
    exp = 0 , 
    eps = 1e-3 , 
    max_steps = 1000
)

# Usual training loop
...
...

# Optional post-training work for validation
optimizer . post_train_work ()
print ( "Budget used:" , optimizer . get_budget_used ())

# Save the summary of modified weights
summary = optimizer . get_summary ( model )
write_summary_to_disk ( "path/to/summary.pth" , summary )

Fluxo de trabalho de inferência

 from selective_optimizers . load_store import load_summary_from_disk , load_weights_from_summary

# Load your model as usual
...
model = ...
...

# Load the summary from disk
summary = load_summary_from_disk ( "path/to/summary.pth" )

# Apply the modified weights from the summary to the model
load_weights_from_summary ( model , summary )

# Usual inference code

...
...

Integração com transformadores

A classe Transformers.Trainner aceita otimizadores externos, facilitando a integração de otimizadores seletivos ao seu fluxo de trabalho:

1. Crie um otimizador seletivo como mostrado acima.
2. Passe para a classe do treinador e ligue para .Train () nela.
3. Post treinamento, busque e guarde o resumo, conforme descrito acima.
4. Para inferência, basta carregar o resumo e atualizar o modelo, conforme mostrado no código.

Contribuindo

Congratulamo -nos com contribuições para o pacote Selective_Optimizers! Se você quiser adicionar um novo otimizador seletivo, siga estas etapas:

1. Crie um novo arquivo dentro da pasta Optimizers/.
2. Otimizadores de subclasse/base_optimizer em seu novo arquivo.
3. Substituir init_chosen () para definir as máscaras iniciais para os parâmetros.
4. Substitua atualização_chosen () para definir como as máscaras evoluem com cada etapa.
5. Por favor, abra uma solicitação de tração com seu novo otimizador e ficaremos felizes em revisá -lo!

Licença

Este projeto está licenciado sob a licença do MIT. Consulte o arquivo de licença para obter detalhes.

Citação

Se você usar este kit de ferramentas em sua pesquisa, cite nosso artigo:

@article{Agarwal2024_step_by_step,
  title = {Step - by - Step Unmasking for Parameter - Efficient Fine - tuning of Large Language Models},
  author = {Aradhye Agarwal and Suhas Kamasetty Ramesh and Ayan Sengupta and Tanmoy Chakraborty}
  journal = {arXiv preprint arXiv: 2408 . 14470 },
  year = { 2024 },
}

Contato

Para quaisquer perguntas ou problemas, sinta -se à vontade para abrir um problema no repositório do GitHub ou entre em contato conosco diretamente.