Auto_Standard_Generator

Générateur de norme automatique: une pratique de réglage fin

Ce référentiel contient le code et les données pour Auto Standard Generator , un projet de première année développé par une équipe de cinq étudiants de premier cycle au Harbin Institute of Technology.

---

? Nouvelles

• [2024.3.25] ?? Rassemblez les données brutes : normes techniques PDF grattées.
• [2024.3.25] ?? Nettoyage et prétraitement : texte traité par lots pour l'ensemble de données.
• [2024.4.23] ?? Nettoyage des données : supprimé du texte brouillé.

FAIRE

• Étiquetage des données : Créer des données d'instructions pour un réglage fin.
• Réglage fin
• Accélération et compression : utilisez des techniques d'accélération et de compression du modèle pour réduire la latence d'inférence et le coût de la mémoire.
• Développement de l'interface graphique : Développer l'interface des utilisateurs.

---

Brève introduction

Les modèles généraux de langue générale (LLMS) pré-formés amendés sur un ensemble de données plus petit de données étiquetées spécifiques à une tâche particulière permet aux modèles d'apprendre les fonctionnalités spécifiques qui sont importantes pour cette tâche, améliorant ainsi ses performances.

Ce projet se concentre sur le réglage fin d'un LLM général open source, tel que Llama 2 ou ChatGLM 3, pour le spécialiser dans la génération de documents de normes techniques.

---

Commencer

1. Préparation de l'environnement

2. Bâtiment de l'ensemble de données

3. Affin fin supervisé