Transformers ist eine Python-Bibliothek, die durch das Umarmungsgesicht entwickelt wurde, das das Laden der meisten vorgeborenen Sprachmodelle unterstützt. Mit dem Aufstieg von Modellen wie Bert und GPT verwenden immer mehr Benutzer die Transformers Library, um Anwendungen für natürliche Sprachverarbeitung zu erstellen.
Dieses Projekt ist ein Code -Repository für das Tutorial "Transformers Library Quick Start" und der Code ist wie folgt organisiert:
- Daten : Speichert den verwendeten Datensatz;
- SRC : Speichert Beispielcode, jede Aufgabe entspricht einem Ordner, der separat heruntergeladen und verwendet werden kann.
Dieses Tutorial befindet sich unter dem Update und fügt dem großen Sprachmodell nach und nach verwandte Inhalte hinzu.
Schneller Beginn der Transformers Library
Teil eins: Hintergrundwissen
- Kapitel 1: Verarbeitung natürlicher Sprache
- Kapitel 2: Transformatormodell
- Kapitel 3: Aufmerksamkeitsmechanismus
Teil 2: Erstes Treffen mit Transformatoren
- Kapitel 4: Pipelines aus der Schachtel
- Kapitel 5: Modell- und Wortpartner
- Kapitel 6: notwendiges Pytorch -Wissen
- Kapitel 7: Feinabstimmung des vorgebildeten Modells
Teil 3: Transformatoren Praktischer Kampf
- Kapitel 8: Quick Word Partitioner
- Kapitel 9: Aufgabe Annotation der Sequenz
- Kapitel 10: Übersetzungsaufgabe
- Kapitel 11: Aufgabe der Textübersicht
- Kapitel 12: Extrahierte Q & A extrahierte
- Kapitel 13: Analyse der Stimmungsanalyse auffordern
Teil 4: Die Ära des großen Sprachmodells
- Kapitel 14: Einführung in die Technologie der großen Sprachmodell
- Kapitel 15: Großspracher Modell vor dem Training
- Kapitel 16: Verwenden von großem Sprachmodell
- KAPITEL 17: Anweisungen Fein -Tunnel Flant5 Modell
- Kapitel 18: Anweisung Feinabstimmung LLAMA2 Model
Beispielcode
- Pairwise_cls_similarity_AFQMC: Aufgaben der Satzpaarklassifizierung, Financial Synonyme Urteil.
- Sequence_Labeling_ner_cpd: Sequence -Markierungsaufgabe, Bezeichnung der Entitätserkennung.
- SEQ2SEQ_TRANSLATION: SEQ2SEQ-Aufgabe, chinesisch-englische Übersetzung.
- SEQ2SEQ_Summarization: SEQ2SEQ -Aufgabe, Textzusammenfassung.
- Sequence_Labeling_extractiveQa_cmrc: Sequence -Markierungsaufgabe, extrahierte Frage und Antwort.
- text_cls_prompt_senti_chnsenticorp: Textklassifizierungsaufgabe, Analyse der Eingabeaufforderung.
Wichtige Aktualisierungen
| Datum | Inhalt |
|---|
| 2024-07-06 | Der textliche Ausdruck des ersten Kapitels der "Verarbeitung natürlicher Sprache" wurde optimiert, einige Bilder wurden hinzugefügt und eine Einführung in das große Sprachmodell wurde hinzugefügt. |
| 2024-07-27 | Vervollständigen Sie den vorläufigen Entwurf der Technologieeinführung des Großsprachmodells (Kapitel 14 bis 16) |
