open LLM

Nol Inference Shot dengan Transformers

Repositori ini berisi kode yang menunjukkan penggunaan perpustakaan Transformers Face Hugging untuk klasifikasi teks nol-shot dan pembuatan teks. Ini termasuk contoh dengan BART untuk klasifikasi dan GPT-2 untuk pembuatan teks.

Isi

Kelas ZeroShotInference : Kelas untuk menangani klasifikasi teks nol-shot dan pembuatan teks. main.py : Contoh penggunaan kelas ZeroShotInference untuk klasifikasi teks dan pembuatan teks.

Instalasi

Untuk menjalankan kode ini, Anda perlu menginstal perpustakaan Transformers Face Hugging dan ketergantungannya. Anda dapat menginstalnya dengan:

pip install transformers torch

Penggunaan

Klasifikasi Teks Zero-Shot

Contoh ini menggunakan model BART BART Facebook (BART-LARGE-MNLI) untuk mengklasifikasikan teks berdasarkan label kandidat yang diberikan.

 from transformers import pipeline
class ZeroShotInference :
    def __init__ ( self , task , pre_trained_model ):
        self . model = pre_trained_model
        self . task = task
        self . pipe = pipeline ( task = self . task , model = self . model )
    def classify_text ( self , text , candidate_labels ):
        result = self . pipe ( text , candidate_labels )
        return result

Contoh Penggunaan:

 text = "I love to play video games"
candidate_labels = [ 'hobby' , 'habit' , 'adventure' , 'boredom' , 'business' ]
task = "zero-shot-classification"
model = "facebook/bart-large-mnli"
zero_short_inference = ZeroShotInference ( task , model )
result = zero_short_inference . classify_text ( text , candidate_labels )
print ( result )  # Output: {'sequence': 'I love to play video games', 'labels': ['hobby', 'habit', 'adventure', 'business', 'boredom'], 'scores': [0.8799885511398315, 0.09845343977212906, 0.016700521111488342, 0.0031407771166414022, 0.0017165272729471326]}

Pembuatan teks

Contoh ini menggunakan GPT-2 untuk menghasilkan teks berdasarkan prompt yang diberikan.

 def generate_text ( self , prompt , max_length = 100 , temperature = 0.7 ):
    output = self . pipe ( prompt , max_length = max_length , do_sample = True , temperature = temperature , truncation = True )
    return output [ 0 ][ 'generated_text' ]

Contoh Penggunaan:

 prompt = "I was doing coding last night"
model_2 = "gpt2"
task_2 = "text-generation"
zero_shot_infernece_2 = ZeroShotInference ( task_2 , model_2 )
result_2 = zero_shot_infernece_2 . generate_text ( prompt )
print ( result_2 )

Dalam tugas ke -2

Quatisasi

Model ini menggunakan teknik kuantisasi untuk inferensi yang efisien, mengurangi penggunaan memori dan mempercepat waktu respons menggunakan BitsAndBytesConfig

Hf_token

Untuk hf_token seperti yang disebutkan saya telah menghasilkan token dari huggingface dan telah menambahkan ke rahasia google colab untuk digunakan

Dalam tugas ke -3

Tugas ini bertujuan untuk menyempurnakan model Mistral untuk menghasilkan teks instruksional menggunakan varian 7B. Ini melibatkan pelatihan model pada dataset tertentu dan kemudian menggunakannya untuk menghasilkan teks instruksional berdasarkan petunjuk yang diberikan.

Finetunning

Proyek Instruksi 7B 7B yang menyempurnakan memanfaatkan model Mistral, model bahasa skala besar, untuk menghasilkan teks instruksional. Dengan menyempurnakan model pada dataset yang berisi teks instruksional, tujuannya adalah untuk membuat model khusus yang mampu menghasilkan instruksi yang koheren dan informatif.

Kontribusi

Kontribusi untuk proyek dipersilakan. Jangan ragu untuk membayar repositori, membuat perubahan Anda, dan mengirimkan permintaan tarik. Anda juga dapat membuka masalah untuk menyarankan perbaikan atau melaporkan bug.