open LLM

การอนุมานเป็นศูนย์ยิงด้วยหม้อแปลง

ที่เก็บนี้มีรหัสที่แสดงให้เห็นถึงการใช้ไลบรารี Hugging Face Transformers สำหรับการจำแนกข้อความแบบไม่มีการยิงและการสร้างข้อความ มันมีตัวอย่างที่มี BART สำหรับการจำแนกประเภทและ GPT-2 สำหรับการสร้างข้อความ

สารบัญ

คลาส ZeroShotInference : คลาสที่จะจัดการการจำแนกประเภทข้อความแบบศูนย์และการสร้างข้อความ main.py : ตัวอย่างการใช้งานของคลาส ZeroShotInference สำหรับการจำแนกประเภทข้อความและการสร้างข้อความ

การติดตั้ง

ในการเรียกใช้รหัสนี้คุณจะต้องติดตั้งไลบรารี Hugging Face Transformers และการอ้างอิง คุณสามารถติดตั้งได้ด้วย:

pip install transformers torch

การใช้งาน

การจำแนกประเภทข้อความแบบไม่ยิง

ตัวอย่างนี้ใช้โมเดลขนาดใหญ่ของ Facebook Bart (Bart-Large-MNLI) เพื่อจำแนกข้อความตามฉลากผู้สมัครที่กำหนด

 from transformers import pipeline
class ZeroShotInference :
    def __init__ ( self , task , pre_trained_model ):
        self . model = pre_trained_model
        self . task = task
        self . pipe = pipeline ( task = self . task , model = self . model )
    def classify_text ( self , text , candidate_labels ):
        result = self . pipe ( text , candidate_labels )
        return result

ตัวอย่างการใช้งาน:

 text = "I love to play video games"
candidate_labels = [ 'hobby' , 'habit' , 'adventure' , 'boredom' , 'business' ]
task = "zero-shot-classification"
model = "facebook/bart-large-mnli"
zero_short_inference = ZeroShotInference ( task , model )
result = zero_short_inference . classify_text ( text , candidate_labels )
print ( result )  # Output: {'sequence': 'I love to play video games', 'labels': ['hobby', 'habit', 'adventure', 'business', 'boredom'], 'scores': [0.8799885511398315, 0.09845343977212906, 0.016700521111488342, 0.0031407771166414022, 0.0017165272729471326]}

การสร้างข้อความ

ตัวอย่างนี้ใช้ GPT-2 เพื่อสร้างข้อความตามพรอมต์ที่กำหนด

 def generate_text ( self , prompt , max_length = 100 , temperature = 0.7 ):
    output = self . pipe ( prompt , max_length = max_length , do_sample = True , temperature = temperature , truncation = True )
    return output [ 0 ][ 'generated_text' ]

ตัวอย่างการใช้งาน:

 prompt = "I was doing coding last night"
model_2 = "gpt2"
task_2 = "text-generation"
zero_shot_infernece_2 = ZeroShotInference ( task_2 , model_2 )
result_2 = zero_shot_infernece_2 . generate_text ( prompt )
print ( result_2 )

ในงานที่ 2

การทำให้เป็นเกลียว

แบบจำลองใช้เทคนิคการหาปริมาณเพื่อการอนุมานที่มีประสิทธิภาพลดการใช้หน่วยความจำและเร่งเวลาตอบสนองโดยใช้ BitsAndBytesConfig

hf_token

สำหรับ hf_token ตามที่กล่าวถึงฉันได้สร้างโทเค็นจาก HuggingFace และได้เพิ่มความลับของ Google Colab ที่จะใช้

ในงานที่ 3

งานนี้มีจุดมุ่งหมายเพื่อปรับแต่งโมเดล mistral สำหรับการสร้างข้อความการเรียนการสอนโดยใช้ตัวแปร 7B มันเกี่ยวข้องกับการฝึกอบรมโมเดลในชุดข้อมูลเฉพาะจากนั้นใช้เพื่อสร้างข้อความการเรียนการสอนตามพรอมต์ที่กำหนด

finetunning

Mistral ที่ปรับแต่งอย่างละเอียดแนะนำโครงการ 7B ใช้ประโยชน์จาก Mistral Model ซึ่งเป็นรูปแบบภาษาขนาดใหญ่สำหรับการสร้างข้อความการเรียนการสอน ด้วยการปรับแต่งโมเดลบนชุดข้อมูลที่มีข้อความการเรียนการสอนเป้าหมายคือการสร้างโมเดลพิเศษที่สามารถสร้างคำแนะนำที่สอดคล้องกันและข้อมูล

ผลงาน

ยินดีต้อนรับการมีส่วนร่วมในโครงการ อย่าลังเลที่จะแยกที่เก็บทำการเปลี่ยนแปลงของคุณและส่งคำขอดึง นอกจากนี้คุณยังสามารถเปิดปัญหาเพื่อแนะนำการปรับปรุงหรือรายงานข้อบกพร่อง