โครงการนี้มีวัตถุประสงค์เพื่อสำรวจการค้นหาฐานข้อมูลทอผ้าโดยใช้ Cohere เพื่อสร้างเวกเตอร์ที่กำหนดเอง มีการค้นหาหลายครั้งที่เราดำเนินการโดยใช้ขั้นตอนด้านล่าง:
- Rag พรอมต์เดี่ยว
- การค้นหาเวกเตอร์
คุณจะต้องมีสิ่งต่อไปนี้:
- คีย์ API ที่ทอผ้าและ URL
- คีย์ API Coere
- ติดตั้ง env เสมือนจริงแล้ว:
pip install -r requirements.txt - สร้างไฟล์. env และจัดเก็บเครดิตของคุณ
- ทดสอบการเชื่อมต่อ db โดยการรัน:
python database/open_db_connection - สร้าง embeddings สำหรับชุดข้อมูล:
python database/create_embeddings
- สิ่งนี้จะสร้างไดเรกทอรีใหม่ภายในไดเรกทอรีรากของคุณที่เรียกว่า 'Scratch'
- จากนั้นจะสร้างไฟล์. csv ที่มีเวกเตอร์ทั้งหมดที่สร้างโดย Cohere
- สร้างคอลเลกชันใหม่ในอินสแตนซ์ Weaviate ของคุณ:
python database/create_collection
- สิ่งนี้จะสร้างคอลเลกชันใหม่ที่เรียกว่า "MovieCustomVector"
- นำเข้าข้อมูล:
python database/import_data - สอบถามข้อมูล:
python -m queries.{the_file_you_wish_to_query} - เพื่อยุติการเชื่อมต่อ db ด้วยเหตุผลใดก็ตาม:
python database/close_db_connection
ข้อมูลเพิ่มเติมเกี่ยวกับวิธีการค้นหา
Rag Search, aka 'Generative' ประกอบด้วย 2 ขั้นตอน:
- (ทอผ้า) เรียกใช้คำค้นหาในการทอเพื่อค้นหาวัตถุที่เกี่ยวข้อง
- (Cohere) ใช้โมเดลภาษาขนาดใหญ่ที่สอดคล้องกันเพื่อสร้างการตอบสนองตามผลลัพธ์ (จากขั้นตอนก่อนหน้า) และพร้อมท์หรืองานที่ให้ไว้
การทดสอบจุดสิ้นสุดส่วนที่เหลือ
- วาง URL จุดสิ้นสุดของ WCD REST ของคุณลงในเบราว์เซอร์และต่อท้ายด้วย
/v1 - สิ่งนี้จะแสดงรายการจุดสิ้นสุดที่คุณสามารถเข้าถึงได้โดยกำหนดค่า Postman
- Weaviate ใช้โทเค็นผู้ถือและคุณต้องวางใน wcd_api_key ของคุณสำหรับการอนุญาต
