open LLM

Ноль вывода с выводом с трансформаторами

Этот репозиторий содержит код, который демонстрирует использование библиотеки Transformers Transformers для обнимающих лиц для классификации текста с нулевым выстрелом и генерации текста. Он включает в себя примеры с BART для классификации и GPT-2 для генерации текста.

Содержимое

Класс ZeroShotInference : класс для обработки нулевой классификации текста и генерации текста. main.py : пример использования класса ZeroShotInference для классификации текста и генерации текста.

Установка

Чтобы запустить этот код, вам необходимо установить библиотеку Transformers Transformers и ее зависимости. Вы можете установить их с:

pip install transformers torch

Использование

НЕКОЛЬКО-ШОТ ТЕКСТРАЦИЯ

В этом примере используется большая модель Facebook Bart (Bart-Large-Mnli) для классификации текста на основе заданных кандидатов.

 from transformers import pipeline
class ZeroShotInference :
    def __init__ ( self , task , pre_trained_model ):
        self . model = pre_trained_model
        self . task = task
        self . pipe = pipeline ( task = self . task , model = self . model )
    def classify_text ( self , text , candidate_labels ):
        result = self . pipe ( text , candidate_labels )
        return result

Пример использования:

 text = "I love to play video games"
candidate_labels = [ 'hobby' , 'habit' , 'adventure' , 'boredom' , 'business' ]
task = "zero-shot-classification"
model = "facebook/bart-large-mnli"
zero_short_inference = ZeroShotInference ( task , model )
result = zero_short_inference . classify_text ( text , candidate_labels )
print ( result )  # Output: {'sequence': 'I love to play video games', 'labels': ['hobby', 'habit', 'adventure', 'business', 'boredom'], 'scores': [0.8799885511398315, 0.09845343977212906, 0.016700521111488342, 0.0031407771166414022, 0.0017165272729471326]}

Генерация текста

В этом примере используется GPT-2 для генерации текста на основе данной подсказки.

 def generate_text ( self , prompt , max_length = 100 , temperature = 0.7 ):
    output = self . pipe ( prompt , max_length = max_length , do_sample = True , temperature = temperature , truncation = True )
    return output [ 0 ][ 'generated_text' ]

Пример использования:

 prompt = "I was doing coding last night"
model_2 = "gpt2"
task_2 = "text-generation"
zero_shot_infernece_2 = ZeroShotInference ( task_2 , model_2 )
result_2 = zero_shot_infernece_2 . generate_text ( prompt )
print ( result_2 )

Во 2 -й задаче

Кватизация

Модель использует методы квантования для эффективного вывода, сокращения использования памяти и ускорения отклика с использованием BitsAndBytesConfig

Hf_token

Для HF_TOKEN, как упоминалось, я сгенерировал токен от HuggingFaceface и добавил в Secret of Google Colab, который будет использоваться

В 3 -й задаче

Эта задача направлена ​​на то, чтобы точно настроить модель Mistral для создания учебного текста с использованием варианта 7B. Он включает в себя обучение модели на конкретном наборе данных, а затем использование ее для создания учебного текста на основе заданных подсказок.

Создан

Проект с тонкой настройкой Mistral инструктирует 7b, использует модель Mistral, крупномасштабную языковую модель, для создания учебного текста. Чистая настройка модели на наборе данных, содержащем учебный текст, цель состоит в том, чтобы создать специализированную модель, способную генерировать когерентные и информативные инструкции.

Вклад

Взносы в проект приветствуются. Не стесняйтесь раскошелиться, внесите свои изменения и отправляйте запрос на привлечение. Вы также можете открыть проблемы, чтобы предложить улучшения или сообщить об ошибках.