fiftyone multimodal rag plugin

ผ้าขี้ริ้วหลายรูป

การแนะนำ

Retrieval Augmentated Generation (RAG) ได้รับความนิยมเพิ่มขึ้นเรื่อย ๆ เพื่อปรับปรุงคุณภาพของข้อความที่สร้างขึ้นโดยแบบจำลองภาษาขนาดใหญ่ ตอนนี้ LLM หลายรูปแบบอยู่ใน Vouge ถึงเวลาที่จะขยาย RAG ไปยังข้อมูลหลายรูปแบบ

เมื่อเราเพิ่มความสามารถในการค้นหาและดึงข้อมูลในหลายรังสีเราได้รับเครื่องมือที่ทรงพลังสำหรับการโต้ตอบกับรุ่น AI ที่ทรงพลังที่สุดที่มีอยู่ในปัจจุบัน อย่างไรก็ตามเรายังเพิ่มเลเยอร์ใหม่ของความซับซ้อนให้กับกระบวนการ

ข้อควรพิจารณาบางประการที่เราต้องคำนึงถึง ได้แก่ :

• เราจะชิ้นข้อมูลและดัชนีหลายรูปแบบได้อย่างไร? เราแบ่งออกเป็นรังสีแยกต่างหากหรือเก็บไว้ด้วยกันหรือไม่?
• เราจะค้นหาข้อมูลหลายรูปแบบได้อย่างไร เราค้นหาแต่ละรูปแบบแยกกันแล้วรวมผลลัพธ์หรือเราค้นหาด้วยกันหรือไม่?
• กลยุทธ์ใหม่ใดที่เราสามารถใช้เพื่อปรับปรุงคุณภาพของข้อมูลที่เราสร้างขึ้น

ในระดับที่เป็นประโยชน์มากขึ้นนี่คือปุ่มพื้นฐานที่เราสามารถเปลี่ยนได้:

• โมเดลการฝังข้อความ: เราใช้โมเดลใดในการฝังข้อความ?
• การแสดงภาพ: เราฝังภาพด้วยโมเดลหลายรูปแบบ (เช่นคลิป) หรือใช้คำอธิบายภาพหรือไม่?
• เราต้องการดึงผลลัพธ์รูปภาพและข้อความกี่รายการ?
• เราใช้โมเดลหลายรูปแบบแบบใดเพื่อสร้างผลลัพธ์ที่ได้รับการเรียกคืนของเรา?

โครงการนี้เป็นแบบทดสอบสำหรับการสำรวจคำถามเหล่านี้และอื่น ๆ มันใช้ไลบรารีโอเพนซอร์สสามแห่ง, Fiftyone, Llamaindex และ Milvus เพื่อให้กระบวนการทำงานกับข้อมูลหลายรูปแบบทดลองใช้เทคนิค RAG หลายรูปแบบที่แตกต่างกันและค้นหาสิ่งที่ดีที่สุดสำหรับกรณีการใช้งานของคุณให้ง่ายที่สุดเท่าที่จะทำได้

โครงการนี้เป็นงานที่กำลังดำเนินอยู่ มันอาจจะหยาบรอบ ๆ ขอบและคุณสมบัติบางอย่างอาจไม่ทำงานตามที่คาดไว้ หากคุณพบปัญหาใด ๆ โปรดเปิดปัญหาเกี่ยวกับที่เก็บนี้ - หรือดีกว่ายังส่งคำขอดึง!

โปรดทราบว่า llamaidex มักจะอัปเดต API นี่คือเหตุผลที่ Llamaidex เวอร์ชันและแพ็คเกจที่เกี่ยวข้องทั้งหมดถูกตรึงไว้?

การติดตั้ง

ก่อนอื่นติดตั้ง FIFYONE:

pip install fiftyone

ถัดไปโดยใช้ไวยากรณ์ CLI ของ Fiftyone ดาวน์โหลดและติดตั้งปลั๊กอิน Rag Multimodal Rag: Fiftyone Multimodal:

fiftyone plugins download https://github.com/jacobmarks/fiftyone-multimodal-rag-plugin

Llamaidex มีกระบวนการติดตั้ง verbose (หากคุณต้องการสร้างสิ่งใด ๆ อย่างน้อยหลายรูปแบบ) โชคดีสำหรับคุณสิ่งนี้ (และการพึ่งพาการติดตั้งอื่น ๆ ทั้งหมด) จะได้รับการดูแลด้วยคำสั่งต่อไปนี้:

fiftyone plugins requirements @jacobmarks/multimodal_rag --install

การใช้งาน

การตั้งค่า

ในการเริ่มต้นใช้งานแอป Fiftyone คุณสามารถทำได้จากเทอร์มินัลโดยการวิ่ง:

fiftyone app launch

หรือคุณสามารถเรียกใช้รหัส Python ต่อไปนี้:

 import fiftyone as fo

session = fo . launch_app ()

การสร้างชุดข้อมูลหลายรูปแบบ

ตอนนี้กดปุ่ม backtick ( ` ) และพิมพ์ create_dataset_from_llama_documents กด Enter เพื่อเปิด Modal ของผู้ประกอบการ ตัวดำเนินการนี้ให้ UI ให้คุณเลือกไดเรกทอรีที่มีข้อมูลหลายรูปแบบของคุณ (รูปภาพ, ไฟล์ข้อความ, PDF, ฯลฯ ) และสร้างชุดข้อมูล fiftyone จากมัน

เมื่อคุณเลือกไดเรกทอรีแล้วให้ดำเนินการตัวดำเนินการ มันจะสร้างชุดข้อมูลใหม่ในเซสชัน Fiftyone ของคุณ สำหรับไฟล์ข้อความคุณจะเห็นการแสดงภาพของข้อความที่ถูกตัดทอน สำหรับภาพคุณจะเห็นภาพตัวเอง

คุณสามารถเพิ่มไดเรกทอรีเพิ่มเติมของข้อมูลหลายรูปแบบด้วยตัวดำเนิน add_llama_documents_to_dataset

การจัดทำดัชนีชุดข้อมูลหลายรูปแบบ

ตอนนี้คุณมีชุดข้อมูลหลายรูปแบบคุณสามารถจัดทำดัชนีด้วย Llamaidex และ Milvus ใช้ตัวดำเนินการ create_multimodal_rag_index เพื่อป้อนกระบวนการนี้ ตัวดำเนินการนี้จะแจ้งให้คุณทราบชื่อดัชนีและจะให้ตัวเลือกในการจัดทำดัชนีภาพผ่านคลิปฝังหรือคำอธิบายภาพ หากคุณเลือกคำอธิบายภาพคุณจะได้รับแจ้งให้เลือกฟิลด์ข้อความเพื่อใช้เป็นคำบรรยายภาพ

หากคุณไม่มีคำอธิบายภาพในชุดข้อมูลของคุณคุณอาจสนใจปลั๊กอินคำบรรยายภาพ Fiftyone Image

fiftyone plugins download https://github.com/jacobmarks/fiftyone-image-captioning-plugin

ตรวจสอบดัชนี

เมื่อคุณสร้างดัชนีแล้วคุณสามารถตรวจสอบได้โดยเรียกใช้ตัวดำเนินการ get_multimodal_rag_index_info และเลือกดัชนีที่คุณต้องการตรวจสอบจากดรอปดาวน์

การสอบถามดัชนี

ในที่สุดคุณสามารถสอบถามดัชนีด้วยผู้ดำเนินการ query_multimodal_rag_index ตัวดำเนินการนี้จะแจ้งให้คุณป้อนสตริงแบบสอบถามและดัชนีเพื่อสอบถาม

นอกจากนี้คุณยังสามารถระบุโมเดลหลายรูปแบบเพื่อใช้ในการสร้างผลลัพธ์ที่ได้จากการดึงข้อมูลรวมถึงจำนวนภาพและข้อความเพื่อดึงข้อมูล

รองรับรุ่นหลายรูปแบบ

• GPT-4V
• Google Gemini Pro Vision
• COG-VLM
• Fuyu-8b
• llava-13b
• minigpt-4