alpaca 7b chinese

???? Finetune Llama-7b avec des ensembles de données d'instructions chinoises

Pour plus de méthodes Finetune pour LLM, veuillez consulter LLM-Finetune-Guide

Ce référentiel est un tutoriel pour Finetuning Llama-7b avec des ensembles de données chinoises! J'enquête et combine l'ensemble de données et la méthode pour la fin de mon propre LLM pour des tâches NLP complexes telles que le résumé, la réponse aux questions, la génération de texte, l'augmentation des données personnalisées, etc.

Étant donné que le Finetune d'origine Stanford Alpaca-7B a besoin de beaucoup de ressources GPU, je me concentre sur l'arpentage de la méthode avec une faible consommation de GPU.

Alors voici comment se reproduire:

Installation

1. Installer les exigences

$ pip install -r requirements.txt

2. Installez Pytorch à la version compatible avec CUDA

$ pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116

Ensembles de données

Ce référentiel a combiné tous les ensembles de données à l'aide de l'instruction anglaise et de la construction de sorties chinoises:

1. alpaca_data.json : ensemble de données original de Stanford Alpaca
2. alpaca_data_cleansed.json : nettoyage par gururise / alpacadatacleaned
3. alpaca-zhCN.json : traduire par carbonz0 / alpaca-chinois-dataset
4. alpaca-zhTW.json : traduire en chinois traditionnel à l'aide OpenCC
5. alpaca-en-zh.json : combinez l'instruction / entrée en anglais et la sortie chinoise par ntunlplab / traditionnel-chinois-alpaca: (ensemble de données chinois traditionnel traduit par l'API Chatgpt ( gpt-3.5-turbo ) par ntunlplab / traditionnel-chinese-alpaca (mise à jour au 2023.03.29)))

Affiner

Référence FineTune méthode fournie par Tloen / Alpaca-lora

1. Exécutez sur 1 GPU avec Colab: https://colab.research.google.com/drive/1qvtrjpikkknksbwwg766sigbbw2tqrd5?usp=sharing

• LLaMA

  $ cd finetune/
  $ python finetune.py --base_model decapoda-research/llama-7b-hf --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/llama-7b-hf_alpaca-en-zh --lora_target_modules ' ["q_proj", "v_proj"] '

• BLOOM

  $ cd finetune/
  $ python finetune.py --base_model bigscience/bloomz-7b1-mt --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/bloomz-7b1-mt_alpaca-en-zh --lora_target_modules ' ["query_key_value"] '

2. Utilisez torchrun pour une formation distribuée sur le multi-GPUS

• LLaMA

  $ cd finetune/
  $ torchrun --standalone --nnodes=1 --nproc_per_node=4 finetune.py --base_model decapoda-research/llama-7b-hf --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/llama-7b-hf_alpaca-en-zh --lora_target_modules ' ["q_proj", "v_proj"] '

• BLOOM

  $ cd finetune/
  $ torchrun --standalone --nnodes=1 --nproc_per_node=4 finetune.py --base_model bigscience/bloomz-7b1-mt --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/bloomz-7b1-mt_alpaca-en-zh --lora_target_modules ' ["query_key_value"] '

Tâches du domaine Finetune

J'ai collecté différentes tâches de domaine dans mon référentiel: Instruction-Finetune-Datasets

Cooperations de bienvenue! Veuillez me contacter à: [email protected] . J'aimerais essayer des tâches de différents domaines tels que l'investissement, la fraude, le commerce électronique, le droit, les soins de santé, ...

Modèle de service

Pour servir votre propre service de modèle via l'API et l'interface utilisateur de site Web simple!

1. API modèle

   $ cd serve/
   $ python api.py

2. Démo Ui

   $ cd serve/
   $ python ui.py

Apprendre encore plus

J'ai organisé des méthodes Finetune pour LLM à LLM-Finetune-Guide

J'ai organisé beaucoup de méthode qui essaie d'exécuter de grands modèles de langage avec moins de ressources GPU:

• Pivot
• Lora
• Flexgen ...

Voir Liste complète: ChatGpt-Alternatives

 @misc{alpaca-7b-chinese,
  author = {JiunYi Yang},
  title = {Alpaca-7B Chinese: Finetune LLaMA-7B with Chinese instruction datasets},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/A-baoYang/alpaca-7b-chinese}},
}