alpaca 7b chinese

???? Finetune Llama-7B con conjuntos de datos de instrucciones chinas

Para obtener más métodos de Finetune para LLM, consulte LLM-Finetune-Guide

¡Este repositorio es un tutorial para Finetuning Llama-7B con conjuntos de datos chinos! Encuesto y combino el conjunto de datos y el método para Finetuning My Own LLM para tareas complejas de PNL, como resumen, respuesta a preguntas, generación de texto, aumento de datos personalizados, etc.

Dado que el Stanford Alpaca-7b Finetune original necesita muchos recursos de GPU, me concentro en inspeccionar el método con un bajo consumo de GPU.

Así que aquí está cómo reproducir:

Instalación

1. Requisitos de instalación

$ pip install -r requirements.txt

2. Instale Pytorch en la versión compatible con CUDA

$ pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116

Conjuntos de datos

Este repositorio combinó todos los conjuntos de datos utilizando la construcción de instrucción inglesa, construcción de salida china:

1. alpaca_data.json : conjunto de datos original de Stanford Alpaca
2. alpaca_data_cleansed.json : limpieza por gururise/alpacadatacleaned
3. alpaca-zhCN.json : traducir por carbonz0/alpaca-chineset-dataset
4. alpaca-zhTW.json : traducir al chino tradicional usando OpenCC
5. alpaca-en-zh.json : Combine la instrucción/entrada en inglés y la producción china por Ntunlplab/tradicional-china-alpaca: (tradicional tradicional chino traducido por chatgpt api ( gpt-3.5-turbo ) por ntunlplab/tradicional-chines-alpaca (actualización a 2023.03.29))))))))

Afinar

Método Finetune de referencia proporcionado por Tloen/Alpaca-Lora

1. Ejecute en 1 GPU con Colab: https://colab.research.google.com/drive/1qvtrjpikkknksbwwg766sigbbw2tqrd5?usp=sharing

• LLaMA

  $ cd finetune/
  $ python finetune.py --base_model decapoda-research/llama-7b-hf --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/llama-7b-hf_alpaca-en-zh --lora_target_modules ' ["q_proj", "v_proj"] '

• BLOOM

  $ cd finetune/
  $ python finetune.py --base_model bigscience/bloomz-7b1-mt --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/bloomz-7b1-mt_alpaca-en-zh --lora_target_modules ' ["query_key_value"] '

2. Use torchrun para capacitación distribuida en multi-GPUS

• LLaMA

  $ cd finetune/
  $ torchrun --standalone --nnodes=1 --nproc_per_node=4 finetune.py --base_model decapoda-research/llama-7b-hf --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/llama-7b-hf_alpaca-en-zh --lora_target_modules ' ["q_proj", "v_proj"] '

• BLOOM

  $ cd finetune/
  $ torchrun --standalone --nnodes=1 --nproc_per_node=4 finetune.py --base_model bigscience/bloomz-7b1-mt --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/bloomz-7b1-mt_alpaca-en-zh --lora_target_modules ' ["query_key_value"] '

Tareas de dominio Finetune

He recopilado diferentes tareas de dominio en mi repositorio: instrucciones-finetune-datasets

¡Bienvenidas cooperaciones! Póngase en contacto conmigo en: [email protected] . Me gustaría probar tareas de diferentes dominios, como inversión, fraude, comercio electrónico, ley, atención médica, ...

Modelo

¡Para servir su propio servicio modelo a través de API y UI del sitio web simple!

1. API modelo

   $ cd serve/
   $ python api.py

2. demostración ui

   $ cd serve/
   $ python ui.py

Obtenga más información

Arreglé los métodos Finetune para LLM en LLM-Finetune-Guide

Curraté muchos métodos que intentan ejecutar modelos de idiomas grandes con menos recursos de GPU:

• Peft
• Lora
• Flexgen ...

Ver lista completa: chatgpt-alternativa

 @misc{alpaca-7b-chinese,
  author = {JiunYi Yang},
  title = {Alpaca-7B Chinese: Finetune LLaMA-7B with Chinese instruction datasets},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/A-baoYang/alpaca-7b-chinese}},
}