BachelorProject

Classification et évaluation invites de l'AYA

Ce référentiel fournit un cadre pour la classification basée sur l'invite à l'aide de modèles de langue pré-formés, en mettant l'accent sur les tâches de classification de texte persan. Il comprend des scripts et des cahiers pour générer des invites, des invites à affinage pour la classification, l'évaluation des résultats et l'analyse des mesures de performance du modèle telles que le score F1, la précision et le rappel. Le référentiel prend également en charge l'apprentissage par shot pour améliorer l'adaptabilité du modèle en incorporant des exemples pertinents.

Structure du projet

• Codes : contient le code de base et les cahiers pour la formation des modèles, la génération rapide et l'évaluation.

  • AYA-Colab.ipynb : cahier principal pour la formation et les invites à réglage fin avec les modèles AYA sur Colab.
  • Classification_report.ipynb : génère des mesures de classification, y compris le score F1, la précision et le rappel pour différentes configurations d'invites.
  • Creating_dataset.ipynb : préparation des données et création de données pour l'apprentissage basé sur une invite.
  • f1-calculation.py : script python pour calculer et visualiser les scores F1.
  • news-aya-symbol-tuning.ipynb : cahier pour un réglage basé sur les symboles avec des modèles AYA pour la classification du texte.
  • news-aya-system-user-prompt.ipynb : Script pour la génération du système et des invites utilisateur à l'aide d'un modèle de langue pré-formé.
  • Symbol_tuning_aya.ipynb : cahier de tuning symbole pour optimiser l'efficacité de l'invite.

• Ensembles de données : contient des ensembles de données utilisés pour la formation et l'évaluation.

• Invites : contient des modèles d'invites utilisés pour diverses tâches de classification.

• Diapositives : Documentation et fichiers de présentation expliquant l'apprentissage en contexte, la conception rapide, l'apprentissage K-shot et le réglage des symboles.

  • In-Context Learning.pptx & In-Context Learning.pdf : Détails sur l'utilisation de l'apprentissage dans le contexte pour le réglage du modèle.
  • System-User Prompt Design.pptx & System-User Prompt Design.pdf : Guide pour la conception d'invites système et utilisateur.
  • Symbol Tuning.pptx & Symbol Tuning.pdf : Instructions sur l'utilisation du réglage du symbole pour améliorer les performances de l'invite.

Caractéristiques clés

• Classification basée sur l'invite : Framework pour classer le texte à l'aide d'invites avec un modèle de langue. Le système permet une génération dynamique d'invites, intégrant les entrées définies par l'utilisateur et les invites système pour la classification flexible du texte.
• Apprentissage K-Shot : soutient l'apprentissage en K où le modèle est fourni avec des exemples pertinents pour améliorer les performances sur des tâches spécifiques.
• Métriques d'évaluation : fournit des outils pour une évaluation complète, y compris la précision, le score F1, la précision et le rappel. Les résultats sont enregistrés et peuvent être visualisés via des matrices de confusion et des rapports de classification.
• Taping des symboles : techniques pour ajuster et affiner les invites en utilisant des symboles et d'autres modifications basées sur l'invite, améliorant la réactivité du modèle à des requêtes spécifiques.
• Apprentissage dans le contexte : documentation et support de l'apprentissage dans le contexte pour améliorer l'adaptabilité du modèle basé sur une invite avec des exemples dans le contexte rapide.

Instructions de configuration

1. Clone le référentiel:

   git clone https://github.com/ShayanSalehi81/BachelorProject
   cd BachelorProject

2. Installez les packages requis:

   pip install -r requirements.txt

3. Authentifiez avec la face étreinte (si nécessaire) et installez des bibliothèques supplémentaires:

   huggingface-cli login --token YOUR_HUGGINGFACE_TOKEN

4. Exécutez l'un des ordinateurs portables ou des scripts Python dans le répertoire Codes pour effectuer des tâches telles que la création de l'ensemble de données, le réglage rapide ou l'évaluation.

Usage

Générer des invites et exécuter la classification

• News-Aya-System-User-Pompt.Ipynb : Ce cahier fournit un pipeline de bout en bout pour générer des invites système et utilisateur et effectuer une classification sur les ensembles de données d'actualités. La classe Generator charge un modèle de langue pré-formé, formate des invites et génère des prédictions. Le script prend en charge la quantification 4 bits pour une utilisation efficace de la mémoire et exploite les invites fournies par l'utilisateur pour classer les données d'information persanes comme "importantes" ou "non importantes".

Évaluation et métriques

• Classification_report.ipynb : évalue les performances du modèle avec des mesures telles que la précision, la précision, le rappel et le score F1. Il comprend la validation croisée K-Fold et produit des rapports de classification détaillés.
• F1-calcul.py : calcule et visualise les scores F1 pour les résultats de classification, avec des pannes de catégorie. Des matrices de confusion et des tables de résumé peuvent être générées pour comprendre les performances du modèle entre les catégories.

K-shot apprentissage

• Le pipeline de génération rapide prend en charge l'apprentissage en K, où K les plus similaires sont récupérés de l'ensemble de formation en utilisant la similitude TF-IDF. Cela améliore la classification basée sur une invite en fournissant au modèle des exemples contextuellement pertinents.

Réglage du symbole

• Les cahiers comme news-aya-symbol-tuning.ipynb et Symbol_tuning_aya.ipynb sont conçus pour affiner les symboles invites, ce qui peut améliorer l'interprétabilité du modèle et la cohérence de la réponse. Le réglage du symbole introduit des ajustements mineurs aux invites, améliorant la compréhension du modèle des requêtes nuancées.

Exemple de workflow

1. Préparation des données : utilisez Creating_dataset.ipynb pour prétraiter et formater votre ensemble de données.
2. GÉNÉRATION DES PLUS : Chargez news-aya-system-user-prompt.ipynb pour définir les invites système et utilisateur et exécuter la classification sur l'ensemble de données.
3. Évaluation : utilisez Classification_report.ipynb pour calculer des mesures comme la précision et le score F1 et f1-calculation.py pour visualiser les performances.
4. Symbole Tuning : Exécutez news-aya-symbol-tuning.ipynb pour affiner la conception rapide avec un réglage du symbole.

Améliorations futures

• Optimisation d'invite : affiner des méthodes de génération d'invite supplémentaires pour prendre en charge les tâches de classification plus complexes.
• Affinement fin : incorporer le modèle de réglage fin sur les ensembles de données personnalisés pour améliorer l'adaptabilité du modèle.
• Apprentissage étendu K-shot : Expérimentez avec des valeurs K variables pour optimiser l'apprentissage dans le contexte.
• Améliorations du réglage des symboles : étendez les techniques de réglage des symboles pour gérer une gamme plus large de tâches et de contextes utilisateur.

Licence

Ce projet est autorisé sous la licence du MIT.

Contributif

Les contributions sont les bienvenues! N'hésitez pas à soumettre des problèmes, des demandes de fonctionnalités ou des demandes de traction pour améliorer ce projet.