QDrant NLP

QDRANT-NLP

รักษามนุษย์ไว้ในวง ฉันไม่ได้เป็นนักพัฒนาที่ Qdrant และไม่เกี่ยวข้องโดยตรงกับพวกเขา แต่ฉันคิดว่าพวกเขาได้สร้างสิ่งที่ยอดเยี่ยมและจนถึงตอนนี้ไม่ได้รับการชื่นชม repo นี้อยู่ที่นี่เพื่อทำหน้าที่เป็นตัวอย่างมากกว่าสิ่งอื่นใด

https://github.com/qdrant/qdrant

ฉันจะเรียกมันว่าเสร็จแล้วเมื่อเป็นระเบียบเรียบร้อยและมีอยู่ใน DockerHub พอที่คุณอาจใช้มันเพื่อเรียกใช้ POC ของคุณเองโดยไม่มีรหัสเพิ่มเติม

คุณสามารถประสบความสำเร็จเกือบครึ่งหนึ่งของเครื่องมือนี้ผ่าน UI Swagger ของพวกเขา แต่เห็นได้ชัดว่าได้รับการออกแบบมาสำหรับการกดปุ่ม APIs อย่างง่ายไม่ใช่เวิร์กโฟลว์ AI ที่เน้นข้อมูลเป็นศูนย์กลาง งานนี้เขียนขึ้นในเชิงลึกมากขึ้นที่นี่ https://medium.com/@george.pearse (ฐานข้อมูลเวกเตอร์ตอนที่ 2)

โลโก้ของเล่นอยู่ที่ไหนสักแห่งระหว่างแว่นขยายสำหรับวิธีการที่เครื่องมือช่วยให้คุณสามารถมุ่งเน้นไปที่ชุดย่อยข้อมูลเฉพาะและกราฟแบบเบย์คลาสสิกสำหรับถ้าฉันถูกพาไปพอที่จะเพิ่มการเรียนรู้ที่ใช้งานอยู่

การค้นหาเอกสารสำหรับการกอดประโยค-transformers ผ่าน Google Search ทำให้ฉันคลั่งไคล้มันอาศัยอยู่ที่นี่ https://www.sbert.net/docs/hugging_face.html

การติดฉลากอย่างรวดเร็วด้วยการกอด-หน้า, streamlit และ qdrant ก่อนอื่นฉันจะสนับสนุน NLP จากนั้นฉันจะคิดเกี่ยวกับการเพิ่มการสนับสนุนรูปภาพ (ซึ่งเป็นที่มาของความคิดนี้)

คุณสมบัติ

• รองรับการสร้างและจัดเก็บแบบสอบถามแบบโต้ตอบสำหรับฐานข้อมูลเวกเตอร์ Qdrant สำหรับชุดข้อมูล NLP
• สำหรับการสืบค้นแต่ละครั้งแสดงข้อดีแสดงเชิงลบจากนั้นแสดงผลลัพธ์
• อาจสนับสนุนการเรียนรู้ที่ใช้งานอยู่ (ในที่สุด) สามารถมีระบบสองส่วนส่วนหนึ่งที่ใช้การเรียนรู้ที่ใช้งานอยู่เพื่อเพิ่มประสิทธิภาพการค้นหาความคล้ายคลึงกันอีกส่วนหนึ่งเพื่อเพิ่มประสิทธิภาพ finetuning ดาวน์สตรีม หรือหนึ่งในการอัปเดตที่ datapoint วิธีการเพื่อนบ้านที่ใกล้ที่สุดนั้นมีความแน่นอนน้อยที่สุด (เพราะสามารถอัปเดตได้เกือบจะทันที) และอีกวิธีหนึ่งเพื่อแก้ไขโมเดลที่สร้าง Embeddings
• เปิดใช้งานการดาวน์โหลดชุดข้อมูลโดยตรงจาก Hugging-Face (ไปยัง Embeddings)
• กำลังโหลดเครื่องหมายขณะสร้างการฝังตัว
• SQLitedB เพื่อจัดเก็บผลลัพธ์การสืบค้นและชื่อของการสืบค้น + อาจเรียกใช้สิ่งที่ใช้ฮิวริสติกตามที่คุณทำในชุดข้อมูลเลียนแบบ

การปรับปรุงประสบการณ์การปรับใช้

• ไฟล์ Docker-compose หนึ่งไฟล์สำหรับ streamlit, qdrant และ fastapi
• ทำให้ภาพ Docker พร้อมใช้งานผ่าน DockerHub

ดู kern.ai สำหรับโซลูชันที่เป่าเต็มรูปแบบซึ่งใช้ Qdrant เบื้องหลัง เครื่องมือนี้มีความง่ายพอที่จะทำหน้าที่เป็นอินโทรไปยังฐานข้อมูลเวกเตอร์ คุณสามารถเขียนและดูคำขอได้เช่นเดียวกับที่คุณผ่าน Python API

ในทำนองเดียวกัน Koaning/Bulk นั้นยอดเยี่ยม แต่ถ้า umap (แทรกเทคนิคการลดมิติทางเลือกที่นี่) จะสูญเสียความแตกต่างทั้งหมดและการสร้างภาพข้อมูลระดับสูงไม่สามารถให้คุณค่ากับชุดข้อมูลของคุณได้?

ฉันยังต้องการให้ Fastapi ทำการทดสอบเล็ก ๆ น้อย ๆ ดังนั้นสำหรับการสืบค้นแต่ละครั้ง (คำขอโพสต์) ที่คุณบันทึกคุณสามารถรับผลลัพธ์ได้โดยกดปุ่มปลายทาง Fastapi ด้วยชื่อของแบบสอบถาม

ในการใช้เครื่องมือเหล่านี้กับชุดข้อมูลแบบหลายรูปแบบคุณจะต้องเชื่อมต่อกับการฝังตัวสำหรับแต่ละองค์ประกอบและออกไปด้วยเทคนิคเดียวกันทั้งหมด

NB: ชื่ออื่น ๆ

• ลองเรียกสิ่งนี้ว่าปลาเก๋าถ้าคุณจริงจังกับมันมากขึ้นและอัพเกรดส่วนประกอบ
• หรือ carve-n-serve (ถ้าคนชอบส่วนประกอบ fastapi จริง ๆ ) แกะสลักข้อมูลเป็นชิ้นเล็ก ๆ

อาจเหมาะสมที่จะใช้ความคล้ายคลึงกันที่ถูกตัดออกแทนที่จะเป็น K ที่ใกล้ที่สุด

วิ่ง:

เพื่อเริ่มต้นใช้งานเพียงแค่วิ่ง

 docker-compose up