Title Generator with LLM PEFT

Titelgenerator mit LLM & PEFT (Lora)

[Update]: Fine-abgestimmte LLAMA2 mit Qlora wird bald hinzugefügt!

Dieses Projekt zielt darauf ab, einen Titel aus der angegebenen Zusammenfassung für akademische Artikel zu generieren . Die Modelle wurden mit PEFT unter Verwendung des Arxiv -Datensatzes fein abgestimmt. Zwei verschiedene Modelle wurden mit Lora abgestimmt (Hu et al., 2021). Im Arxiv -Datensatz wurden nur Artikel in der Kategorie Informatik ausgewählt. Diese Zahl wurde auch aufgrund von Speicher- und Zeitbegrenzungen reduziert. Die fein abgestimmten Modelle sind über Harmgingface-Räume erhältlich:

• Umarmungsflächen -Räume Bart
• Umarmungsflächen -Räume T5

Das Projekt enthält:

• Anpassungsmethode mit niedriger Rang (LORA)
• Parameter Effiziente Feinabstimmung (PEFT)
• MURGINGFACE MODELLE TRAINings (T5-Base, Bart-Base)
• Bewertungsmetrik des Rouge Score
• One-Shot, Null-Shot-Bewertung und Zugabe der Anweisungsaufforderung
• Modellverschmelzung und Hochladen in das Umarmungsgesicht
• Tracking -Protokolle, Speicherverbrauch, verstrichene Zeit für Vorverarbeitung, Training, Bewertungsprozesse, Visualisierung des Trainings/Testverlusts
• EDA und Skript zum Filtern des Arxiv -Datensatzes mit nur Artikeln für Informatik (CS).
• Filterung und Konvertieren von .json -Datensatz in das .csv -Format

Externe Bibliotheken und Pakete:

• Fackel
• Umarmung
• Transformatoren
• Bitsandbytes
• Peft
• Beschleunigen
• Bewerten (Rouge Score)
• Loralib
• Trl
• Pandas, Numpy, Matplotlib, TQDM, Zeit

Trainingsparameter und Einschränkungen

• 6000 Trainingsproben, 1000 Validierungsproben, 250 Testproben werden aus dem Datensatz filtriert.
• (Anzahl der mit CS verwandten Papiere beträgt 299131. Eines der Ziele dieses Projekts ist jedoch die Überprüfung der Effizienz kleiner LLMs mit PEFT/Lora. Daher werden die weniger Trainingsdatenproben und weniger Trainings -Epochen berücksichtigt.)
• Modelle werden für 6 Epochen geschult.
• Lora Achtung R=8 , alpha=64 , dropout=0.01 , learning rate=2e-4 , paged_adamW_32bit optimizer

Ergebnisse

Fein abgestimmter Bart

• Speicher zwischengespeichert: 11,2 GB
• Trainingszeit: 11423.89 s

Feinabstimmung T5

• Speicher zwischengespeichert: 13,7 GB
• Trainingszeit: 9793.74 s

Feinabstimmige BART-Ausgänge

	Originaltitel	Erzeugter Titel
1	Quantenschaltungen für stark korrelierte Quantensysteme	Quantensimulation stark korrelierter Hamiltoner mit vielen Körper
2	Teko: Textreiche Grafik Neuronale Netze mit externen Kenntnissen	Textreiche Grafiknetzwerke mit externen Kenntnissen
3	Fracht: Effektive formatfreie komprimierte Speicherung genomischer Informationen	Fracht: Komprimierte Archivierung für die Genomik
4	Energieeffiziente Leistungskontrolle der MMWAVE-Kommunikation für Fahrzeuge für	Energieeffizienz der MMWAVE-Kommunikation mit Hochgeschwindigkeitszügen bei Hochgeschwindigkeitszügen
5	Eine Umfrage zur Verzerrung der Forschung für maschinelles Lernen	Verständnis der Quellen und Folgen von Verzerrungen im maschinellen Lernen
6	SA-Unet: räumliche Aufmerksamkeit U-NET für die Segmentierung von Netzhautgefäßen	Räumliche Aufmerksamkeit U-NET: räumliche Aufmerksamkeit für Augenkrankheiten
7	Ein neuer heuristischer Algorithmus für die schnelle K-Segmentierung	Ein neuer heuristischer Algorithmus zur K-Segmentierung
8	Fortschritt und Herausforderungen des Internet der Dinge im Gesundheitswesen: Eine kurze Überprüfung	Smart Healthcare and Healthcare: Eine vergleichende Analyse der intelligenten Gesundheitsversorgung und Sicherheit
9	FVC: Ein neues Framework für die tiefe Videokomprimierung im Feature -Raum	Feature-Space-Videokomprimierung für lernbasierte Videocodierung

Screenshots

• BART -Training/Testverlust (6 Epochen)

• T5 -Trainings-/Testverlust (6 Epochen)