เวกเตอร์-ดาบาสพร้อมไลบรารี QDRANT และฝังด้วย SENTENCE TANSFORMERS
การจำลองฐานข้อมูลเวกเตอร์บนชุดข้อมูล Conala
ชุดข้อมูล
- Conala: ชุดข้อมูลการท้าทายภาษา/ภาษาธรรมชาติเพื่อดึงข้อมูลตัวอย่างโปรแกรมที่เกี่ยวข้องกับการสืบค้นผู้ใช้
เฟรมเวิร์ก
- ฐานข้อมูลเวกเตอร์: ฐานข้อมูลเวกเตอร์ในหน่วยความจำโดยใช้ไลบรารี QDRANT
- EMBEDDINGS: SENTENSE TRANSFORMER (All-MINILM-L6-V2)
ไฟล์
- PREPAL_DATA.IPYNB: สมุดบันทึกเพื่อดูข้อมูลและการวิเคราะห์อย่างง่ายของชุดข้อมูล
- EMBEDDINGS.IPYNB: มีรหัสเต็มเพื่อสร้างการฝังโดยใช้การแปลงประโยค, เวกเตอร์-ดาบาสโดยใช้ QDRANT จากนั้นดึงข้อมูลขึ้นอยู่กับความคล้ายคลึงกันของโคไซน์
หากคุณพบว่า repo มีประโยชน์โปรดวางก