หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

News Vector Store

วัตถุประสงค์:

แบบจำลองภาษาขนาดใหญ่ได้รับการออกแบบมาเพื่อทำงานภาษามนุษย์ได้อย่างมีประสิทธิภาพเช่นการแปลการสรุปการใช้เหตุผลการจำแนกการบันทึกข้อมูลบริบทการจับความหมายและไวยากรณ์ของภาษา แต่เมื่อเร็ว ๆ นี้หลังจากการเกิดขึ้นของ GPT-3.5 และโอเพ่นซอร์ส รหัสให้ข้อมูลบางอย่างเกี่ยวกับกรณีการใช้โดเมนที่เฉพาะเจาะจงและอื่น ๆ .. แน่นอนว่ามากของพวกเขาสามารถให้คำตอบสำหรับคำถามมากมาย แต่เมื่อเราเริ่มถามพวกเขาเกี่ยวกับคำถาม LLMs ไม่รู้อะไรเลยหรือพวกเขาไม่สามารถจดจำพวกเขาได้

ทางออกสำหรับปัญหานี้ในการใช้ LLM อย่างมีประสิทธิภาพและให้ข้อมูลล่าสุดแก่พวกเขาคือการใช้ฐานข้อมูลเวกเตอร์และเทคนิคการสร้างวิศวกรรมพร้อมใช้งานเพื่อสร้างระบบการสร้างการเรียกคืน-เพิ่มซึ่งสามารถ: สามารถ:

  • แทรกความรู้หรือบริบทลงในอินพุต
  • ขอให้ LM รวมบริบทไว้ในผลลัพธ์

เทคนิคนี้ช่วยลดภาพหลอนและให้บริบท (ความรู้) LLMs พวกเขาต้องการตอบคำถามได้อย่างมีประสิทธิภาพ

เทคโนโลยีและข้อกำหนดเบื้องต้น:

  • Python (> = 3.10, <3.12)
  • บทกวี
  • ความรู้พื้นฐานใน NLP & LLMS
  • Git & Make Command สำหรับ Windows
  • นักเทียบท่า

การตั้งค่าโครงการ:

  • สร้างไดเรกทอรีสองไดเรกทอรี (db, News) ในไดเรกทอรีข้อมูล 
mkdir data/db
mkdir data/news
  • สร้างไดเรกทอรี (STS) และโคลนโมเดลตัวเข้ 
mkdir sts
cd sts
git lfs install
git clone https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
  • สร้างไฟล์. ENV เพื่อเก็บกุญแจลับของคุณ
  • ติดตั้งการพึ่งพา 
poetry install
  • เรียกใช้อิมเมจนักเทียบท่าของ QDDRANT DB API 
make qdrant

มันทำงานอย่างไร?

มันเป็นขั้นตอนที่ง่ายที่สุดเพียงเรียกใช้คำสั่งนี้ 

make run date= ' 2023-11-09 '

การทดลอง:

  • สอบถามฐานข้อมูลและค้นหาการค้นหาข่าว
  • ใช้ OpenAI API และแยกข่าวตามคำถาม LLM-News-Reporter
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด