LLM Finetuning
1.0.0
Bienvenue dans le référentiel de projet PEFT (pré-évaluation à l'évaluation)! Ce projet se concentre sur des modèles de grande langue efficacement à réglage efficace en utilisant la bibliothèque Transformers de Lora et Hugging Face.
| Titre du cahier | Description | Badge de colab |
|---|---|---|
| 1. Former efficacement de grands modèles de langue avec Lora et un visage étreint | Détails et code pour une formation efficace des modèles de grandes langues à l'aide de Lora et des étreintes. | |
| 2. Affinez votre propre modèle Llama 2 dans un cahier Colab | Guide pour affiner votre modèle LLAMA 2 à l'aide de Colab. | |
| 3. Demo de chatbot Guanaco avec modèle LLAMA-7B | Vitrine d'une démonstration de chatbot propulsée par le modèle LLAMA-7B. | |
| 4. PEFT FINETUNE-BLOM-560M-TAGER | Détails du projet pour PEFT Finetune-Bloom-560m-Tagger. | |
| 5. FineTune_Meta_OPT-6-1B_MODEL_BNB_PEFT | Détails et guide pour la fin du modèle Meta Opt-6-1b à l'aide de PEFT et Bloom-560m-Tagger. | |
| 6.FINETUNE FALCON-7B avec une formation auto-supervisée BNB | Guide pour Finetuning Falcon-7B à l'aide de la formation auto-supervisée BNB. | |
| 7.Finetune Llama2 avec Qlora | Guide pour affiner le modèle pré-formé Llama 2 7b à l'aide de la bibliothèque PEFT et de la méthode QLORA | |
| 8.stable_vicuna13b_8bit_in_colab | Guide du réglage fin Vecuna 13B_8BIT | |
| 9. GPT-NEO-X-20B-BNB2BIT_TRAINT | Guide comment former le modèle GPT-Neox-20B à l'aide de la précision BFLOAT16 | |
| 10. Formation du modèle MPT-Istruct-30B | MPT-Instruct-30B est un modèle grand langage de MOSAICML qui est formé sur un ensemble de données d'instructions courtes. Il peut être utilisé pour suivre les instructions, répondre aux questions et générer du texte. | |
| 11.rlhf_training_for_customdataset_for_anymodel | Comment former un modèle avec une formation RLHF sur n'importe quel modèle LLM avec un ensemble de données personnalisé | |
| 12.fine_tuning_microsoft_phi_1_5b_on_custom_dataset (dialogstudio) | Comment former un modèle avec une formation TRL SFT sur Microsoft Phi 1.5 avec personnalité | |
| 13. Finetuning Openai GPT3,5 Turbo | Comment Finetune GPT 3.5 sur vos propres données | |
| 14. FinEtuning Mistral-7b Fintuning Modèle utilisant AutoTrain Advanced | Comment Finetune Mistral-7B en utilisant | |
| 15. Tutoriel de Rag Langchain | Comment utiliser le chiffon à l'aide de Langchain | |
| 16. Graphique de connaissances LLM avec Langchain PDF Question Répondre | Comment construire un graphique de connaissances avec la question de la question PDF | |
| 17. Texte à Knolwedge Graph avec fonction Openai avec la question de la question de l'agent Neo4j et Langchain | Comment créer un graphique de connaissances à partir de texte ou de document PDF avec réponse de question PDF | |
| 18. Convertir le document en Knowledgegraph à l'aide de Langchain et Openai | Ce cahier vous aide à comprendre à quel point vous pouvez convertir vos documents en Knowledgegraph pour votre prochaine application basée sur le chiffon | |
| 19. Comment former un modèle 1 bits avec des LLM? | Ce cahier vous aide à former un modèle avec une méthode de quantification 1 bits et 2 bits à l'aide de HQQ Framework | |
| 20.alpaca _ + _ GEMMA2_9B_UNSLOTH_2X_FASTER_FINETUNING | Ce cahier vous aide à former un modèle avec Gemma2 9b | |
| 21.Rag Évaluation du pipeline à l'aide de la meilleure pratique de l'industrie MLFlow | Ce carnet fournit un guide complet pour évaluer le pipeline 21 Rag (récupérer la génération de la réponse) en utilisant MLFlow, adhérant aux meilleures pratiques de l'industrie. | |
22. Évaluer une face étreinte LLM avec mlflow.evaluate() | Ce carnet fournit un guide complet sur l'évaluation d'un modèle d'apprentissage du langage (LLM) étreint à l'aide de mlflow_evaluate. |
Les contributions sont les bienvenues! Si vous souhaitez contribuer à ce projet, n'hésitez pas à ouvrir un problème ou à soumettre une demande de traction.
Ce projet est autorisé sous la licence du MIT.
Créé avec ❤️ par Ashish