Auto_Standard_Generator

Auto-Standardgenerator: Eine feine Abtunungspraxis

Dieses Repository enthält den Code und die Daten für den Auto Standard Generator , ein Projekt im ersten Jahr, das von einem Team von fünf Studenten am Harbin Institute of Technology entwickelt wurde.

---

? Nachricht

• [2024.3.25] ?? Erfassen Sie Rohdaten : Scraped PDF -technische Standards.
• [2024.3.25] ?? Reinigung & Vorverarbeitung : Batch -verarbeiteter Text für den Datensatz.
• [2024.4.23] ?? Datenreinigung : Versteckte Text entfernt.

Todo

• Kennzeichnung der Daten : Erstellen Sie Anweisungsdaten für die Feinabstimmung.
• Feinabstimmung
• Beschleunigung und Komprimierung : Verwenden Sie Techniken zur Beschleunigung und Komprimierung von Modells, um die Inferenzlatenz und die Speicherkosten zu senken.
• GUI -Entwicklung : Benutzeroberfläche entwickeln.

---

Kurze Einführung

Fine-abgestimmte Vorausgebildete allgemeine Großsprachmodelle (LLMs) auf einem kleineren Datensatz mit markierten Daten, die für eine bestimmte Aufgabe spezifisch sind, ermöglicht es den Modellen, die spezifischen Merkmale zu erlernen, die für diese Aufgabe wichtig sind, wodurch ihre Leistung verbessert wird.

Dieses Projekt konzentriert sich auf die Feinabstimmung eines Open-Source General LLM wie LLAMA 2 oder Chatglm 3, um sie bei der Erstellung technischer Standarddokumente zu spezialisieren.

---

Erste Schritte

1. Umweltvorbereitung

2. Datensatzgebäude

3.. Überwachende Feinabstimmung