chatglm_6b_lora_ptunning
1.0.0
Durch Feinabstimmung des Chatglm-6b-Open-Source-Modells mit LORA kann das Chatglm-Modell für die Zusammensetzung der Aufgabenverarbeitung verwendet werden. Dieses Projekt befasst sich hauptsächlich mit zwei Aufgaben: intelligente Klassifizierung der Kommentare der neuen Medienbranche und der Informationsextraktion
Das Projekt wird kontinuierlich aktualisiert ...
Die Textklassifizierung bezieht sich auf den Prozess der Aufteilung eines oder mehrerer Textabsätze in verschiedene Kategorien oder Tags nach ihren Inhalten oder Themenmerkmalen. In der tatsächlichen Arbeit wird die Textklassifizierung häufig verwendet, wie z.
Die Informationsextraktion ist eine Technologie, die sachliche Beschreibungen von Entitäten, Beziehungen, Ereignissen usw. aus unstrukturierten oder halbstrukturierten natürlichen Texten identifiziert und sie in strukturierter Form speichert und verwendet. von
"Xiao Ming und Xiao Qin sind gute Freunde. Sie sind beide aus Yunnan. Xiao Ming lebt in Dali und Xiao Qin lebt in Lijiang."
Als Beispiel können Sie:
<Xiao Ming, Freund, Xiao Qin> und <Xiao Qin, Leben, Leben, Leben, Dali> und andere dreifache Informationen.
Mit der raschen Entwicklung der Internet -Technologie ist die neue Medienbranche zu einer der Hauptplattformen für die Verbreitung von Informationen geworden. In dieser Ära der Informationsexplosion erhalten Personen Informationen über soziale Medien, Nachrichtenkunden, Blogs und andere Formen. Mit der zunehmenden Menge an Informationen ist die effiziente Verwaltung und Nutzung dieser Informationen zu einem dringenden Problem geworden. Basierend auf einigen "neuen Medienindustrie" -Daten als Hintergrund hilft dieses Projekt der neuen Medienbranche, nützliche Informationen aus massiven Informationen schnell und genau zu erhalten und eine angemessene Klassifizierung und das Management durch die Klassifizierung und Informationsextraktion von Textkommentaren durchzuführen. Dies hilft nicht nur der neuen Medienplattform, die Benutzererfahrung zu verbessern, sondern bietet auch Informationsproduzenten genauere Datenanalyse und Entscheidungsunterstützung.
Basierend auf der Chatglm-6b-Modell + Lora-Feinabstimmungsmethode wird die Entwicklung gemeinsamer Aufgaben der Textklassifizierung und der Informationsextraktion realisiert
| Modell | GPU -Videospeicher |
|---|---|
| Chatglm-6b | 13 GB |
| Abhängigkeitspaket | Versionsanforderungen |
|---|---|
| Protobuf | > = 3.19.5, <3.20.1 |
| Transformatoren | > = 4.27.1 |
| Straffung | == 1.17.0 |
| Datensätze | > == 2.10.1 |
| Beschleunigen | == 0.17.1 |
| Verpackung | > = 20.0 |
Die LORA -Technologie friert die Gewichte des vorbereiteten Modells ein und injiziert eine trainierbare Schicht (als Rang -Zersetzungsmatrix) in jeden Transformatorblock, d. H. Eine "SideBranch" A und B neben der linearen Schicht des Modells hinzugefügt. Unter ihnen senkt A die Daten von D -Dimension bis zur R -Dimension, die der Rang von Lora ist, was ein wichtiger Hyperparameter ist. B erhöht die Daten von R -Dimension auf D -Dimension, und die Parameter von Teil B sind zunächst 0. Nach Abschluss des Modelltrainings müssen die Parameter von A+B -Teil mit den Parametern des ursprünglichen großen Modells kombiniert werden.
Datenformat: Wörterbuchstil; Der Kontextinhalt darstellt: Originaleingabetext (Eingabeaufforderung); Zielpunkt: Zieltext. Zu den gemischten Datensätzen gehören Datenklassifizierungsdaten- und Informationsextraktionsdaten.
Der Trainingsdatensatz enthält insgesamt: 902 Proben.
Der Verifizierungsdatensatz enthält insgesamt: 122 Proben.
Die Verwendung der Chatglm-6b-Modellgewichte in diesem Projekt unterliegt der Modellgenehmigung.
