Transformers est une bibliothèque Python développée par Hugging Face, qui prend en charge le chargement de la plupart des modèles de langue pré-formés. Avec la montée en puissance de modèles tels que Bert et GPT, de plus en plus d'utilisateurs utilisent la bibliothèque Transformers pour créer des applications de traitement du langage naturel.
Ce projet est un référentiel de code pour le didacticiel "Transformers Library Quick Start", et le code est organisé comme suit:
- Données : stocke l'ensemble de données utilisé;
- SRC : Stores Stores Exemple de code, chaque tâche correspond à un dossier, qui peut être téléchargé et utilisé séparément.
Ce didacticiel est en cours de mise à jour et ajoute progressivement du contenu connexe au modèle de grande langue.
Démarrage rapide de la bibliothèque Transformers
Première partie: connaissances de fond
- Chapitre 1: Traitement du langage naturel
- Chapitre 2: Modèle de transformateur
- Chapitre 3: Mécanisme d'attention
Partie 2: Première rencontre avec Transformers
- Chapitre 4: Pipelines hors de la boîte
- Chapitre 5: Modèle et partitionnaire de mots
- Chapitre 6: Connaissances nécessaires à Pytorch
- Chapitre 7: affiner le modèle pré-formé
Partie 3: Bataille pratique des transformateurs
- Chapitre 8: Partionn de mot rapide
- Chapitre 9: Tâche d'annotation de séquence
- Chapitre 10: Tâche de traduction
- Chapitre 11: Tâche de résumé du texte
- Chapitre 12: Q&R extrait
- Chapitre 13: Inciter l'analyse des sentiments
Partie 4: L'ère du modèle de grande langue
- Chapitre 14: Introduction à la technologie du modèle de grande langue
- Chapitre 15: Modèle de grande langue pré-formation
- Chapitre 16: Utilisation du modèle de grande langue
- Chapitre 17: Instruction Fine Tunnel Flant5 modèle
- Chapitre 18: Instruction Modèle LLAMA2 FAUSEMENT
Exemple de code
- pairwise_cls_similarity_afqmc: tâches de classification des paires de phrases, jugement des synonymes financiers.
- Sequence_Labeling_ner_cpd: tâche d'étiquetage de la séquence, nommé la reconnaissance de l'entité.
- SEQ2SEQ_TRANSLATION: Tâche SEQ2SEQ, traduction chinoise-anglais.
- SEQ2SEQ_SUMMarisation: tâche SEQ2SEQ, Résumé du texte.
- Sequence_Labeling_ExtracttiveQA_CMRC: Tâche d'étiquetage de séquence, question et réponse extraites.
- Text_CLS_PROMPT_SENTI_CHNSENTICORP: Tâche de classification du texte, Analyse du sentiment rapide.
Mises à jour importantes
| date | contenu |
|---|
| 2024-07-06 | L'expression textuelle du premier chapitre du «traitement du langage naturel» a été optimisée, certaines images ont été ajoutées et une introduction au modèle de grande langue a été ajoutée. |
| 2024-07-27 | Terminez le projet préliminaire de la technologie Introduction du modèle de grande langue (chapitres 14 à 16) |
