open LLM

Zero inferência de tiro com transformadores

Este repositório contém código que demonstra o uso da biblioteca de Transformers de Face Hugging para classificação de texto e geração de texto com tiro zero. Inclui exemplos com BART para classificação e GPT-2 para geração de texto.

Conteúdo

Classe ZeroShotInference : Uma classe para lidar com a classificação de texto zero e geração de texto. main.py : Exemplo de uso da classe ZeroShotInference para classificação e geração de texto.

Instalação

Para executar esse código, você precisa instalar a biblioteca Hugging Face Transformers e suas dependências. Você pode instalá -los com:

pip install transformers torch

Uso

Classificação de texto com tiro zero

Este exemplo usa o Facebook Bart Large Model (Bart-Large-mnli) para classificar um texto com base nos rótulos candidatos.

 from transformers import pipeline
class ZeroShotInference :
    def __init__ ( self , task , pre_trained_model ):
        self . model = pre_trained_model
        self . task = task
        self . pipe = pipeline ( task = self . task , model = self . model )
    def classify_text ( self , text , candidate_labels ):
        result = self . pipe ( text , candidate_labels )
        return result

Exemplo de uso:

 text = "I love to play video games"
candidate_labels = [ 'hobby' , 'habit' , 'adventure' , 'boredom' , 'business' ]
task = "zero-shot-classification"
model = "facebook/bart-large-mnli"
zero_short_inference = ZeroShotInference ( task , model )
result = zero_short_inference . classify_text ( text , candidate_labels )
print ( result )  # Output: {'sequence': 'I love to play video games', 'labels': ['hobby', 'habit', 'adventure', 'business', 'boredom'], 'scores': [0.8799885511398315, 0.09845343977212906, 0.016700521111488342, 0.0031407771166414022, 0.0017165272729471326]}

Geração de texto

Este exemplo usa o GPT-2 para gerar texto com base em um determinado prompt.

 def generate_text ( self , prompt , max_length = 100 , temperature = 0.7 ):
    output = self . pipe ( prompt , max_length = max_length , do_sample = True , temperature = temperature , truncation = True )
    return output [ 0 ][ 'generated_text' ]

Exemplo de uso:

 prompt = "I was doing coding last night"
model_2 = "gpt2"
task_2 = "text-generation"
zero_shot_infernece_2 = ZeroShotInference ( task_2 , model_2 )
result_2 = zero_shot_infernece_2 . generate_text ( prompt )
print ( result_2 )

Na 2ª tarefa

Quatização

O modelo usa técnicas de quantização para inferência eficiente, reduzindo o uso da memória e acelerando os tempos de resposta usando BitsAndBytesConfig

Hf_token

Para HF_token, como mencionado, eu gerei o token do huggingface e adicionei ao segredo do Google Colab para ser usado

Na 3ª tarefa

Esta tarefa tem como objetivo ajustar o modelo Mistral para gerar texto instrucional usando a variante 7B. Envolve treinar o modelo em um conjunto de dados específico e, em seguida, usá -lo para gerar texto instrucional com base nos avisos fornecidos.

Finetunning

O projeto Mistral Instruct 7B de ajuste fino aproveita o modelo Mistral, um modelo de linguagem em larga escala, para gerar texto instrucional. Ao ajustar o modelo em um conjunto de dados contendo texto instrucional, o objetivo é criar um modelo especializado capaz de gerar instruções coerentes e informativas.

Contribuições

As contribuições para o projeto são bem -vindas. Sinta -se à vontade para bifurcar o repositório, fazer suas alterações e enviar uma solicitação de tração. Você também pode abrir problemas para sugerir melhorias ou relatar bugs.