open LLM

Zero Shot Inferenz mit Transformatoren

Dieses Repository enthält Code, der die Verwendung der Umarmungs-Face-Face-Transformers-Bibliothek für die Klassifizierung von Textnull und Textgenerierung demonstriert. Es enthält Beispiele mit BART zur Klassifizierung und GPT-2 für die Textgenerierung.

Inhalt

ZeroShotInference : Eine Klasse zur Behandlung von Textklassifizierungen und Textgenerierung von Null-Shot. main.py : Beispiel Verwendung der ZeroShotInference für die Textklassifizierung und die Textgenerierung.

Installation

Um diesen Code auszuführen, müssen Sie die Umarmungsgesichts -Transformers -Bibliothek und ihre Abhängigkeiten installieren. Sie können sie mit:

pip install transformers torch

Verwendung

Null-Shot-Textklassifizierung

In diesem Beispiel wird das Facebook BART Large Model (Bart-Large-MNLI) verwendet, um einen Text zu klassifizieren, der auf bestimmten Kandidatenbezeichnungen basiert.

 from transformers import pipeline
class ZeroShotInference :
    def __init__ ( self , task , pre_trained_model ):
        self . model = pre_trained_model
        self . task = task
        self . pipe = pipeline ( task = self . task , model = self . model )
    def classify_text ( self , text , candidate_labels ):
        result = self . pipe ( text , candidate_labels )
        return result

Beispiel Verwendung:

 text = "I love to play video games"
candidate_labels = [ 'hobby' , 'habit' , 'adventure' , 'boredom' , 'business' ]
task = "zero-shot-classification"
model = "facebook/bart-large-mnli"
zero_short_inference = ZeroShotInference ( task , model )
result = zero_short_inference . classify_text ( text , candidate_labels )
print ( result )  # Output: {'sequence': 'I love to play video games', 'labels': ['hobby', 'habit', 'adventure', 'business', 'boredom'], 'scores': [0.8799885511398315, 0.09845343977212906, 0.016700521111488342, 0.0031407771166414022, 0.0017165272729471326]}

Textgenerierung

In diesem Beispiel wird GPT-2 verwendet, um Text basierend auf einer bestimmten Eingabeaufforderung zu generieren.

 def generate_text ( self , prompt , max_length = 100 , temperature = 0.7 ):
    output = self . pipe ( prompt , max_length = max_length , do_sample = True , temperature = temperature , truncation = True )
    return output [ 0 ][ 'generated_text' ]

Beispiel Verwendung:

 prompt = "I was doing coding last night"
model_2 = "gpt2"
task_2 = "text-generation"
zero_shot_infernece_2 = ZeroShotInference ( task_2 , model_2 )
result_2 = zero_shot_infernece_2 . generate_text ( prompt )
print ( result_2 )

In der 2. Aufgabe

Quatisierung

Das Modell verwendet Quantisierungstechniken für eine effiziente Inferenz, reduziert die Speicherverwendung und beschleunigte die Antwortzeiten mithilfe von BitsAndBytesConfig

Hf_token

Für hf_token wie erwähnt habe ich das token aus suggingface generiert und zu heimt von Google Colab hinzugefügt, um sie zu verwenden

In der 3. Aufgabe

Diese Aufgabe zielt darauf ab, das Mistral-Modell für die Generierung von Anleitungstext mithilfe der 7B-Variante zu verkaufen. Es umfasst das Training des Modells in einem bestimmten Datensatz und dann zum Generieren von Anleitentext basierend auf angegebenen Eingabeaufforderungen.

Feinlösend

Das feinabstimmende Mistral-Anweisungen 7B-Projekt nutzt das Mistral-Modell, ein großes Sprachmodell, zum Generieren von Unterrichtstext. Durch die Feinabstimmung des Modells in einem Datensatz, der Anweisungstext enthält, ist es das Ziel, ein spezielles Modell zu erstellen, das kohärente und informative Anweisungen generieren kann.

Beiträge

Beiträge zum Projekt sind willkommen. Fühlen Sie sich frei, das Repository aufzugeben, Ihre Änderungen vorzunehmen und eine Pull -Anfrage einzureichen. Sie können auch Probleme öffnen, um Verbesserungen vorzuschlagen oder Fehler zu melden.