หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

หม้อแปลงที่ดูแล

Transformers ล้ำสมัยอิฐโดยอิฐ

Curated Transformers เป็นห้องสมุดหม้อแปลงสำหรับ Pytorch มันมีโมเดลที่ทันสมัยซึ่งประกอบไปด้วยชุดของส่วนประกอบที่นำกลับมาใช้ใหม่ได้ คุณสมบัติที่โดดเด่นของหม้อแปลงที่ดูแลคือ:

  • ⚡สนับสนุนโมเดลหม้อแปลงศิลปะที่ทันสมัยรวมถึง LLM เช่น Falcon, Llama และ Dolly V2
  • ?? แต่ละรุ่นประกอบด้วยชุดของการสร้างที่นำกลับมาใช้ใหม่ได้ให้ประโยชน์มากมาย:
    • การใช้คุณสมบัติหรือ Bugfix เป็นประโยชน์ต่อทุกรุ่น ตัวอย่างเช่นทุกรุ่นรองรับการอนุมาน 4/8 บิตผ่านห้องสมุด bitsandbytes และแต่ละรุ่นสามารถใช้อุปกรณ์ meta Pytorch เพื่อหลีกเลี่ยงการจัดสรรและการเริ่มต้นที่ไม่จำเป็น
    • การเพิ่มโมเดลใหม่ในไลบรารีนั้นมีความพยายามต่ำ
    • คุณต้องการลองใช้สถาปัตยกรรมหม้อแปลงใหม่หรือไม่? เครื่องเข้ารหัสเบิร์ตที่มีการฝังตัวแบบโรตารี่? คุณสามารถทำมันได้
  • - คำอธิบายประกอบประเภทที่สอดคล้องกันของ API สาธารณะทั้งหมด:
    • รับการสนับสนุนการเข้ารหัสที่ยอดเยี่ยมจาก IDE ของคุณ
    • รวมเข้ากับรหัสที่ตรวจสอบประเภทที่มีอยู่ของคุณได้ดี
  • - เหมาะสำหรับการศึกษาเพราะการสร้างบล็อกนั้นง่ายต่อการศึกษา
  • - การพึ่งพาน้อยที่สุด

Transformers ที่ได้รับการทดสอบได้รับการทดสอบการผลิตโดยการระเบิดและจะถูกใช้เป็นการใช้งานหม้อแปลงเริ่มต้นใน Spacy 3.7

- สถาปัตยกรรมแบบจำลองที่รองรับ

รุ่น ENCODER-ONLY ที่รองรับ:

  • อัลเบิร์ต
  • เบิร์ต
  • Camembert
  • โรเบอร์ต้า
  • XLM-Roberta

โมเดลถอดรหัสเท่านั้น:

  • เหยี่ยว
  • gpt-neox
  • Llama 1/2
  • MPT

เครื่องสร้างเครื่องกำเนิดไฟฟ้า:

  • Dolly v2
  • เหยี่ยว
  • Llama 1/2
  • MPT

ทุกรุ่นสามารถโหลดได้จาก HuggingFace Hub

การรวม Spacy สำหรับหม้อแปลงที่ดูแลโดยแพ็คเกจ spacy-curated-transformers

⏳ติดตั้ง 

pip install curated-transformers

การสนับสนุน CUDA

การสร้าง Linux เริ่มต้นของ Pytorch ถูกสร้างขึ้นด้วยการสนับสนุน CUDA 11.7 คุณควรติดตั้ง cuda build อย่างชัดเจนในกรณีต่อไปนี้:

  • หากคุณต้องการใช้หม้อแปลงที่ดูแลอยู่บน Windows
  • หากคุณต้องการใช้หม้อแปลงที่ดูแลอยู่บน Linux ด้วย GPU รุ่น ADA Pytorch Build มาตรฐานรองรับ ADA GPU แต่คุณสามารถได้รับการปรับปรุงประสิทธิภาพอย่างมากโดยการติดตั้ง pytorch ด้วยการสนับสนุน CUDA 11.8

ในทั้งสองกรณีคุณสามารถติดตั้ง pytorch ด้วย: 

pip install torch --index-url https://download.pytorch.org/whl/cu118

? ‍♀ ตัวอย่างการใช้งาน 

>>> import torch
>>> from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig
>>> generator = AutoGenerator.from_hf_hub( name = " tiiuae/falcon-7b-instruct " , device = torch.device( " cuda " ))
>>> generator([ " What is Python in one sentence? " , " What is Rust in one sentence? " ], GreedyGeneratorConfig())
['Python is a high-level programming language that is easy to learn and widely used for web development, data analysis, and automation.',
 'Rust is a programming language that is designed to be a safe, concurrent, and efficient replacement for C++.']

คุณสามารถค้นหาตัวอย่างการใช้งานเพิ่มเติมในเอกสาร นอกจากนี้คุณยังสามารถค้นหาโปรแกรมตัวอย่างที่ใช้หม้อแปลงที่ดูแลในไดเรกทอรี examples

เอกสาร

คุณสามารถอ่านเพิ่มเติมเกี่ยวกับวิธีการใช้หม้อแปลง curated ที่นี่:

  • ภาพรวม (การพัฒนา)
  • การใช้งาน (การพัฒนา)
  • API (การพัฒนา)

️ quantization

curated-transformers รองรับการหาปริมาณแบบจำลอง 8 บิตและ 4 บิตแบบไดนามิกโดยใช้ประโยชน์จากห้องสมุด bitsandbytes

ใช้ตัวแปร Quantization เพื่อติดตั้งการพึ่งพาที่จำเป็นโดยอัตโนมัติ: 

pip install curated-transformers[quantization]
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด