open LLM

Inférence zéro tir avec les transformateurs

Ce référentiel contient du code qui démontre l'utilisation de la bibliothèque Face Transformers Hugging Face pour la classification de texte et la génération de texte zéro. Il comprend des exemples avec BART pour la classification et GPT-2 pour la génération de texte.

Contenu

Classe ZeroShotInference : une classe pour gérer la classification de texte et la génération de texte zéro-shot. main.py : Exemple d'utilisation de la classe ZeroShotInference pour la classification du texte et la génération de texte.

Installation

Pour exécuter ce code, vous devez installer la bibliothèque de transformateurs Face Hugging Face et ses dépendances. Vous pouvez les installer avec:

pip install transformers torch

Usage

Classification de texte zéro-shot

Cet exemple utilise le modèle Facebook BART Large (BART-Large-MNLI) pour classer un texte en fonction des étiquettes candidates données.

 from transformers import pipeline
class ZeroShotInference :
    def __init__ ( self , task , pre_trained_model ):
        self . model = pre_trained_model
        self . task = task
        self . pipe = pipeline ( task = self . task , model = self . model )
    def classify_text ( self , text , candidate_labels ):
        result = self . pipe ( text , candidate_labels )
        return result

Exemple d'utilisation:

 text = "I love to play video games"
candidate_labels = [ 'hobby' , 'habit' , 'adventure' , 'boredom' , 'business' ]
task = "zero-shot-classification"
model = "facebook/bart-large-mnli"
zero_short_inference = ZeroShotInference ( task , model )
result = zero_short_inference . classify_text ( text , candidate_labels )
print ( result )  # Output: {'sequence': 'I love to play video games', 'labels': ['hobby', 'habit', 'adventure', 'business', 'boredom'], 'scores': [0.8799885511398315, 0.09845343977212906, 0.016700521111488342, 0.0031407771166414022, 0.0017165272729471326]}

Génération de texte

Cet exemple utilise GPT-2 pour générer du texte basé sur une invite donnée.

 def generate_text ( self , prompt , max_length = 100 , temperature = 0.7 ):
    output = self . pipe ( prompt , max_length = max_length , do_sample = True , temperature = temperature , truncation = True )
    return output [ 0 ][ 'generated_text' ]

Exemple d'utilisation:

 prompt = "I was doing coding last night"
model_2 = "gpt2"
task_2 = "text-generation"
zero_shot_infernece_2 = ZeroShotInference ( task_2 , model_2 )
result_2 = zero_shot_infernece_2 . generate_text ( prompt )
print ( result_2 )

En 2ème tâche

Quatisation

Le modèle utilise des techniques de quantification pour une inférence efficace, réduisant l'utilisation de la mémoire et accélérant les temps de réponse à l'aide de BitsAndBytesConfig

Hf_token

Pour hf_token comme mentionne, j'ai généré le jeton à partir de Huggingface et j'ai ajouté au secret de Google Colab pour être utilisé

Dans la 3e tâche

Cette tâche vise à affiner le modèle Mistral pour générer du texte pédagogique à l'aide de la variante 7b. Il s'agit de former le modèle sur un ensemble de données spécifique, puis de l'utiliser pour générer du texte pédagogique en fonction des invites données.

Finesse

Le projet Mistral Instruct 7B du réglage fin exploite le modèle Mistral, un modèle de langue à grande échelle, pour générer du texte pédagogique. En affinant le modèle sur un ensemble de données contenant du texte pédagogique, l'objectif est de créer un modèle spécialisé capable de générer des instructions cohérentes et informatives.

Contributions

Les contributions au projet sont les bienvenues. N'hésitez pas à alimenter le référentiel, à apporter vos modifications et à soumettre une demande de traction. Vous pouvez également ouvrir des problèmes pour suggérer des améliorations ou signaler des bogues.