spacy llm

spacy-llm
โครงสร้าง NLP ด้วย LLMS

แพ็คเกจนี้รวมโมเดลภาษาขนาดใหญ่ (LLMS) เข้ากับ Spacy ซึ่งมีระบบแบบแยกส่วนสำหรับการสร้างต้นแบบและ การแจ้งเตือน ที่รวดเร็ว และเปลี่ยนการตอบสนองที่ไม่มีโครงสร้างให้กลายเป็น เอาต์พุตที่แข็งแกร่ง สำหรับงาน NLP ต่างๆ ไม่จำเป็นต้องมีข้อมูลการฝึกอบรม

คุณสมบัติไฮไลต์

• ส่วนประกอบ llm แบบ serializable เพื่อรวมการแจ้งเตือนเข้ากับท่อส่งของคุณ
• ฟังก์ชั่นแบบแยกส่วน เพื่อกำหนด งาน (การแจ้งเตือนและการแยกวิเคราะห์) และ โมเดล
• อินเทอร์เฟซกับ API ของ
  • Openai
  • กัน
  • มานุษยวิทยา
  • Google Palm
  • Microsoft Azure AI
• รองรับ LLMS โอเพนซอร์ซโฮสต์บน Hugging Face?:
  • เหยี่ยว
  • ดอลลี่
  • ลามะ 2
  • Openllama
  • Stablelm
  • ผิดพลาด
• การรวมเข้ากับ Langchain? ️? - ทุกรุ่นและคุณสมบัติ langchain สามารถใช้ใน spacy-llm
• งานที่มีอยู่นอกกรอบ:
  • การจดจำเอนทิตีชื่อ
  • การจำแนกข้อความ
  • การทำให้เป็นโรคจิต
  • การสกัดความสัมพันธ์
  • การวิเคราะห์ความเชื่อมั่น
  • การจัดหมวดหมู่
  • การสรุป
  • การเชื่อมโยงเอนทิตี
  • การแปล
  • การดำเนินการตามพรอมต์ดิบเพื่อความยืดหยุ่นสูงสุด
  • เร็วๆ นี้:
    • การติดฉลากบทบาทความหมาย
• การใช้ งานฟังก์ชั่นของคุณเอง ผ่านการลงทะเบียนของ Spacy สำหรับการแจ้งเตือนการแยกวิเคราะห์และการรวมแบบจำลอง ตัวอย่างดูที่นี่
• วิธีการลดแผนที่สำหรับการแยกพรอมต์นานเกินไปสำหรับหน้าต่างบริบทของ LLM และหลอมรวมผลลัพธ์กลับมารวมกัน

- แรงจูงใจ

แบบจำลองภาษาขนาดใหญ่ (LLMS) มีความสามารถในการทำความเข้าใจภาษาธรรมชาติที่ทรงพลัง ด้วยตัวอย่างเพียงไม่กี่ตัวอย่าง (และบางครั้งไม่มี) LLM สามารถได้รับแจ้งให้ทำงาน NLP ที่กำหนดเองเช่นการจัดหมวดหมู่ข้อความการจดจำเอนทิตีที่มีชื่อการแก้ไข coreference การสกัดข้อมูลและอื่น ๆ

Spacy เป็นห้องสมุดที่ได้รับการยอมรับอย่างดีสำหรับระบบอาคารที่ต้องทำงานกับภาษาในรูปแบบต่าง ๆ ส่วนประกอบในตัวของ Spacy โดยทั่วไปจะใช้พลังงานจากการเรียนรู้ภายใต้การดูแลหรือวิธีการตามกฎ

การเรียนรู้ภายใต้การดูแลนั้นเลวร้ายยิ่งกว่าการกระตุ้น LLM สำหรับการสร้างต้นแบบ แต่สำหรับงานหลายอย่างมันดีกว่าสำหรับการผลิตมาก โมเดลหม้อแปลงที่ทำงานได้อย่างสะดวกสบายบน GPU เดียวนั้นทรงพลังอย่างยิ่งและมีแนวโน้มที่จะเป็นตัวเลือกที่ดีกว่าสำหรับงานใด ๆ ที่คุณมีเอาท์พุทที่กำหนดไว้อย่างดี คุณฝึกอบรมแบบจำลองด้วยตัวอย่างไม่กี่ร้อยถึงสองสามพันตัวอย่างและมันจะเรียนรู้ที่จะทำอย่างนั้น ประสิทธิภาพความน่าเชื่อถือและการควบคุมทั้งหมดดีขึ้นด้วยการเรียนรู้ภายใต้การดูแลและความแม่นยำโดยทั่วไปจะสูงกว่าการกระตุ้น LLM เช่นกัน

spacy-llm ช่วยให้คุณมี สิ่งที่ดีที่สุดของทั้งสองโลก คุณสามารถเริ่มต้นอย่างรวดเร็วไปป์ไลน์ด้วยส่วนประกอบที่ขับเคลื่อนโดยการแจ้งเตือน LLM และผสมผสานส่วนประกอบที่ขับเคลื่อนโดยวิธีอื่นได้อย่างอิสระ เมื่อโครงการของคุณดำเนินไปคุณสามารถดูที่ส่วนประกอบที่ใช้พลังงานจาก LLM บางส่วนหรือทั้งหมดตามที่คุณต้องการ

แน่นอนว่าอาจมีส่วนประกอบในระบบของคุณซึ่งพลังของ LLM นั้นมีเหตุผลอย่างเต็มที่ หากคุณต้องการระบบที่สามารถสังเคราะห์ข้อมูลจากเอกสารหลายฉบับในรูปแบบที่ละเอียดอ่อนและสร้างบทสรุปที่เหมาะสมยิ่งขึ้นสำหรับคุณใหญ่กว่าจะดีกว่า อย่างไรก็ตามแม้ว่าระบบการผลิตของคุณต้องการ LLM สำหรับงานบางอย่างนั่นไม่ได้หมายความว่าคุณต้องการ LLM สำหรับทั้งหมด บางทีคุณอาจต้องการใช้รูปแบบการจำแนกประเภทข้อความราคาถูกเพื่อช่วยให้คุณค้นหาข้อความที่จะสรุปหรือบางทีคุณอาจต้องการเพิ่มระบบตามกฎเพื่อตรวจสอบความมีสติของการสรุปผลสรุป งานก่อนและหลังเหล่านี้ง่ายกว่ามากด้วยห้องสมุดที่เป็นผู้ใหญ่และมีความคิดดีซึ่งเป็นสิ่งที่ Spacy ให้ไว้

⏳ติดตั้ง

spacy-llm จะถูกติดตั้งโดยอัตโนมัติในรุ่น Spacy ในอนาคต สำหรับตอนนี้คุณสามารถเรียกใช้สิ่งต่อไปนี้ในสภาพแวดล้อมเสมือนจริงเดียวกันกับที่คุณติดตั้ง spacy แล้ว

python -m pip install spacy-llm

แพ็คเกจนี้ยังคงทดลองและเป็นไปได้ว่าการเปลี่ยนแปลงที่เกิดขึ้นกับอินเทอร์เฟซจะทำลายการอัปเดตรุ่นรองลงมา

- เร็ว

ลองเรียกใช้การจำแนกประเภทข้อความโดยใช้โมเดล GPT จาก OpenAI

สร้างคีย์ API ใหม่จาก openai.com หรือดึงรหัสที่มีอยู่และตรวจสอบให้แน่ใจว่าคีย์ถูกตั้งค่าเป็นตัวแปรด้านสิ่งแวดล้อม สำหรับข้อมูลพื้นหลังเพิ่มเติมดูเอกสารเกี่ยวกับการตั้งค่าปุ่ม API

ในรหัส Python

หากต้องการทำการทดลองอย่างรวดเร็วตั้งแต่ 0.5.0 เป็นต้นไปคุณสามารถวิ่งได้:

 import spacy

nlp = spacy . blank ( "en" )
llm = nlp . add_pipe ( "llm_textcat" )
llm . add_label ( "INSULT" )
llm . add_label ( "COMPLIMENT" )
doc = nlp ( "You look gorgeous!" )
print ( doc . cats )
# {"COMPLIMENT": 1.0, "INSULT": 0.0}

ด้วยการใช้โรงงาน llm_textcat จะใช้งาน TextCat เวอร์ชันล่าสุดรวมถึงรุ่น GPT-3-5 เริ่มต้นจาก OpenAI

ใช้ไฟล์กำหนดค่า

ในการควบคุมพารามิเตอร์ต่าง ๆ ของไปป์ไลน์ llm เราสามารถใช้ระบบกำหนดค่าของ Spacy ในการเริ่มต้นให้สร้างไฟล์ config.cfg ที่มีอย่างน้อยต่อไปนี้ (หรือดูตัวอย่างเต็มที่นี่):

 [nlp]
lang = " en "
pipeline = [ " llm " ]

[components]

[components.llm]
factory = " llm "

[components.llm.task]
@ llm_tasks = " spacy.TextCat.v3 "
labels = [ " COMPLIMENT " , " INSULT " ]

[components.llm.model]
@ llm_models = " spacy.GPT-4.v2 "

ตอนนี้วิ่ง:

 from spacy_llm . util import assemble

nlp = assemble ( "config.cfg" )
doc = nlp ( "You look gorgeous!" )
print ( doc . cats )
# {"COMPLIMENT": 1.0, "INSULT": 0.0}

แค่ไหน! มีคุณสมบัติอื่น ๆ อีกมากมาย-เทมเพลตที่รวดเร็วงานมากขึ้นการเข้าสู่ระบบ ฯลฯ สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีการใช้เหล่านั้นตรวจสอบ https://spacy.io/api/large-language-models

งานต่อเนื่อง

ในอนาคตอันใกล้เราจะ

• เพิ่มตัวอย่างงานเพิ่มเติม
• รองรับรุ่นที่กว้างขึ้น
• ให้ตัวอย่างเพิ่มเติมกรณีการใช้งานและแบบฝึกหัด

PRS ยินดีต้อนรับเสมอ!

ปัญหาการรายงาน

หากคุณมีคำถามเกี่ยวกับการใช้ spacy-llm หรือต้องการให้ข้อเสนอแนะกับเราหลังจากให้การหมุนโปรดใช้กระดานสนทนา สามารถยื่นรายงานข้อผิดพลาดในตัวติดตามปัญหา Spacy ขอบคุณ!

คู่มือการย้ายถิ่น

โปรดดูคู่มือการย้ายถิ่นของเรา