ดาวน์โหลด distily - ดาวน์โหลดซอร์สโค้ด distily

distily

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

อย่างห่างไกล

ในคำสั่งเดียวกลั่น LLM ที่มีอยู่ให้เป็นสถาปัตยกรรมขนาดเล็กหรือแตกต่างกัน

ติดตั้ง

 pip install -U "git+https://github.com/lapp0/distily.git"

คุณสมบัติ

ช่วยให้คุณกลั่นแบบจำลองด้วย

น้ำหนักเชิงปริมาณ: เช่น trilm, bitnet
สถาปัตยกรรมที่แตกต่าง: โมเดลพื้นที่ของรัฐเช่น Mamba, ส่วนผสมของ experts (MOE)
สถาปัตยกรรมที่ปรับเปลี่ยน: ลด (หรือเพิ่ม)
- จำนวนเลเยอร์
- ความกว้างและความลึกของหัวความสนใจและชั้นหนาแน่น
- จำนวนความสนใจและหัว KV

การใช้งาน

ตัวอย่างน้อยที่สุด: distily_gpt2

คำสั่งเพื่อสร้าง gpt2 กลั่นด้วยเพียง 6 เลเยอร์:

 python3 -m distily.run 
    --teacher_model_name_or_path gpt2 
    --output_dir distily_gpt2 
    --hub_model_id "distily/distily_gpt2" 
    --push_to_hub True 
    --student_model_config {"n_layers": 6} 
    --student_model_as_bitnet True

โมเดล distily_gpt2 ที่ได้มี (สิ่งที่ต้องทำ: อธิบายตัวชี้วัด)

สำหรับตัวอย่างเพิ่มเติมตรวจสอบเอกสารตัวอย่าง

หมายเหตุเกี่ยวกับข้อมูลรับรองฮับ

เพื่อผลักดันไปยังฮับคุณต้องเตรียมโทเค็นฮับของคุณ

 HF_WRITE=<your hub token> python3 -c "from huggingface_hub.hf_api import HfFolder; HfFolder.save_token('${HF_WRITE}')"

การอ่านเพิ่มเติม

TODO: มอบเอกสารที่เชื่อมโยงเมื่อเสร็จสมบูรณ์

ใช้ระยะไกล

การกลั่นทำงานอย่างไร: สูตรที่ห่างไกล
Quickstart / ตัวอย่าง
การเลือกพารามิเตอร์

รุ่นที่มีอยู่

แบบจำลองอย่างเป็นทางการ
ทุกรุ่น HF ที่สร้างขึ้นอย่างห่างไกล

การบริจาค

แนวทางการสนับสนุน

แผนงาน

ปรับปรุงประสิทธิภาพ / ประสิทธิภาพการสุ่มตัวอย่าง:

การกลั่นความรู้มาตรฐานโดยใช้ logits
กลั่นโดยใช้คุณสมบัติระดับกลางรวมถึงสถานะที่ซ่อนอยู่และความสนใจ
ใช้การถ่ายโอนมูลค่า (เพียงแค่การสูญเสียการกลั่นบน V ของ q, k, v)
ปรับปรุงประสิทธิภาพการสุ่มตัวอย่างผ่านการสร้างข้อมูลสังเคราะห์
ใช้การสูญเสียการจำแนกประเภทข้ามการเข้าร่วม (ฟังก์ชั่นการสูญเสีย LLM แบบดั้งเดิม)
ใช้โปรเจ็กเตอร์กับ logits (https://arxiv.org/pdf/2310.17183)
ใช้ "การบันทึกครู" เรียกใช้การอนุมานของครูหนึ่งครั้งใช้ชุดข้อมูลคุณสมบัติหลายครั้ง

กลั่นเป็นรูปแบบ / ขนาดที่แตกต่างกัน:

กลั่นเป็นแบบจำลองที่มี num_hidden_layers น้อยลงโดยใช้ตัวแม็ปเปอร์เลเยอร์
กลั่นไปยังแบบจำลองที่มีขนาดและพฤติกรรมของโมดูลที่ได้รับการแก้ไข (เช่น intermediate_size , hidden_act ) โดยใช้โปรเจ็กเตอร์
กลั่นเป็นรุ่นที่มีการแก้ไข num_attention_heads และ num_key_value_heads