GraphRAG4OpenWebUI

如有问题请联系我的微信 Stoeng

项目对应的视频演示请看 https://youtu.be/z4si6o5nq4c

graphrag4openwebui

รวมเทคโนโลยี Graphrag ของ Microsoft เข้ากับ Open WebUI สำหรับการดึงข้อมูลขั้นสูง

ภาษาอังกฤษ | 简体中文

graphrag4openwebui เป็นอินเทอร์เฟซ API ที่ออกแบบมาโดยเฉพาะสำหรับ WebUI แบบเปิดโดยมีวัตถุประสงค์เพื่อรวมเทคโนโลยี Graphrag (Generation-Augmented Generation ที่ใช้กราฟมาใช้ โครงการนี้มีระบบดึงข้อมูลที่มีประสิทธิภาพซึ่งรองรับโมเดลการค้นหาหลายแบบโดยเฉพาะอย่างยิ่งเหมาะสำหรับใช้ในอินเทอร์เฟซผู้ใช้เว็บแบบเปิด

ภาพรวมโครงการ

เป้าหมายหลักของโครงการนี้คือการจัดหาอินเทอร์เฟซที่สะดวกสำหรับ Open WebUI เพื่อใช้ประโยชน์จากคุณสมบัติที่ทรงพลังของ graphrag มันรวมวิธีการดึงข้อมูลหลักสามวิธีและเสนอตัวเลือกการค้นหาที่ครอบคลุมทำให้ผู้ใช้สามารถรับผลการค้นหาอย่างละเอียดและแม่นยำ

คุณสมบัติการดึงข้อมูลคีย์

1. การค้นหาในท้องถิ่น

   • ใช้ประโยชน์จากเทคโนโลยี Graphrag สำหรับการดึงข้อมูลที่มีประสิทธิภาพในฐานความรู้ท้องถิ่น
   • เหมาะสำหรับการเข้าถึงข้อมูลที่มีโครงสร้างที่กำหนดไว้ล่วงหน้าอย่างรวดเร็ว
   • ใช้ประโยชน์จากโครงสร้างกราฟเพื่อปรับปรุงความแม่นยำในการดึงข้อมูลและความเกี่ยวข้อง

2. การค้นหาทั่วโลก

   • ค้นหาข้อมูลในขอบเขตที่กว้างขึ้นนอกเหนือจากฐานความรู้ท้องถิ่น
   • เหมาะสำหรับการสอบถามที่ต้องการข้อมูลที่ครอบคลุมมากขึ้น
   • ใช้ความสามารถในการทำความเข้าใจบริบทระดับโลกของ Graphrag เพื่อให้ผลการค้นหาที่สมบูรณ์ยิ่งขึ้น

3. ค้นหา tavily

   • รวม API ค้นหาภายนอก tavily
   • ให้ความสามารถในการค้นหาทางอินเทอร์เน็ตเพิ่มเติมการขยายแหล่งข้อมูล
   • เหมาะสำหรับการสอบถามที่ต้องการข้อมูลเว็บล่าสุดหรือกว้างขวาง

4. การค้นหาแบบจำลองเต็มรูปแบบ

   • รวมวิธีการค้นหาทั้งสามวิธีด้านบน
   • ให้ผลการค้นหาที่ครอบคลุมมากที่สุดตอบสนองความต้องการข้อมูลที่ซับซ้อน
   • รวมและจัดอันดับข้อมูลจากแหล่งต่าง ๆ โดยอัตโนมัติ

LLM ท้องถิ่นและการสนับสนุนแบบจำลองการฝัง

ตอนนี้ GraphRag4Openwebui รองรับการใช้แบบจำลองภาษาท้องถิ่น (LLMS) และโมเดลการฝังเพิ่มความยืดหยุ่นและความเป็นส่วนตัวของโครงการ โดยเฉพาะเราสนับสนุนโมเดลท้องถิ่นต่อไปนี้:

1. โอลลา

   • รองรับ LLM โอเพนซอร์ซที่ทำงานผ่าน Ollama เช่น Llama 2, Mistral ฯลฯ
   • สามารถกำหนดค่าได้โดยการตั้งค่าตัวแปรสภาพแวดล้อม API_BASE เพื่อชี้ไปที่จุดสิ้นสุด API ของ Ollama

2. สตูดิโอ LM

   • เข้ากันได้กับรุ่นที่ดำเนินการโดย LM Studio
   • เชื่อมต่อกับบริการของ LM Studio โดยการกำหนดค่าตัวแปรสภาพแวดล้อม API_BASE

3. โมเดลการฝังในท้องถิ่น

   • รองรับการใช้แบบจำลองการฝังในพื้นที่เช่น SentEncetransformers
   • ระบุรูปแบบการฝังที่จะใช้โดยการตั้งค่าตัวแปรสภาพแวดล้อม GRAPHRAG_EMBEDDING_MODEL

การสนับสนุนสำหรับรุ่นท้องถิ่นนี้ช่วยให้ graphrag4openwebui ทำงานได้โดยไม่ต้องพึ่งพา API ภายนอกเพิ่มความเป็นส่วนตัวของข้อมูลและลดต้นทุนการใช้งาน

การติดตั้ง

ตรวจสอบให้แน่ใจว่าคุณติดตั้ง Python 3.8 หรือสูงกว่าในระบบของคุณ จากนั้นทำตามขั้นตอนเหล่านี้เพื่อติดตั้ง:

1. โคลนที่เก็บ:

   git clone https://github.com/your-username/GraphRAG4OpenWebUI.git
   cd GraphRAG4OpenWebUI

2. สร้างและเปิดใช้งานสภาพแวดล้อมเสมือนจริง:

   python -m venv venv
   source venv/bin/activate  # On Windows use venvScriptsactivate

3. ติดตั้งการพึ่งพา:

   pip install -r requirements.txt

   หมายเหตุ: แพ็คเกจ graphrag อาจต้องติดตั้งจากแหล่งเฉพาะ หากคำสั่งข้างต้นไม่สามารถติดตั้ง graphrag โปรดดูคำแนะนำเฉพาะของ Microsoft Research หรือติดต่อผู้ดูแลสำหรับวิธีการติดตั้งที่ถูกต้อง

การกำหนดค่า

ก่อนที่จะเรียกใช้ API คุณต้องตั้งค่าตัวแปรสภาพแวดล้อมต่อไปนี้ คุณสามารถทำได้โดยการสร้างไฟล์ .env หรือส่งออกโดยตรงในเทอร์มินัลของคุณ:

 # Set the TAVILY API key 
export TAVILY_API_KEY= " your_tavily_api_key "

export INPUT_DIR= " /path/to/your/input/directory "

# Set the API key for LLM
export GRAPHRAG_API_KEY= " your_actual_api_key_here "

# Set the API key for embedding (if different from GRAPHRAG_API_KEY)
export GRAPHRAG_API_KEY_EMBEDDING= " your_embedding_api_key_here "

# Set the LLM model 
export GRAPHRAG_LLM_MODEL= " gemma2 "

# Set the API base URL 
export API_BASE= " http://localhost:11434/v1 "

# Set the embedding API base URL (default is OpenAI's API)
export API_BASE_EMBEDDING= " https://api.openai.com/v1 "

# Set the embedding model (default is "text-embedding-3-small")
export GRAPHRAG_EMBEDDING_MODEL= " text-embedding-3-small "

ตรวจสอบให้แน่ใจว่าได้แทนที่ตัวยึดตำแหน่งในคำสั่งข้างต้นด้วยคีย์และเส้นทาง API ที่แท้จริงของคุณ

การใช้งาน

1. เริ่มต้นเซิร์ฟเวอร์:

    python main-en.py
   

   เซิร์ฟเวอร์จะทำงานบน http://localhost:8012

2. จุดสิ้นสุด API:

   • /v1/chat/completions : การโพสต์คำขอสำหรับทำการค้นหา
   • /v1/models : รับคำขอเพื่อดึงรายการรุ่นที่มีอยู่

3. การรวมเข้ากับ Open WebUI: ในการกำหนดค่า WebUI แบบเปิดตั้งค่าจุดสิ้นสุด API เป็น http://localhost:8012/v1/chat/completions สิ่งนี้จะช่วยให้ WebUI เปิดใช้งานฟังก์ชั่นการค้นหาของ GraphRag4Openwebui

4. ตัวอย่างคำขอค้นหา:

    import requests
   import json
   
   url = "http://localhost:8012/v1/chat/completions"
   headers = { "Content-Type" : "application/json" }
   data = {
       "model" : "full-model:latest" ,
       "messages" : [{ "role" : "user" , "content" : "Your search query" }],
       "temperature" : 0.7
   }
   
   response = requests . post ( url , headers = headers , data = json . dumps ( data ))
   print ( response . json ())

รุ่นที่มีอยู่

• graphrag-local-search:latest : การค้นหาในท้องถิ่น
• graphrag-global-search:latest : การค้นหาทั่วโลก
• tavily-search:latest : Tavily Search
• full-model:latest : การค้นหาที่ครอบคลุม (รวมถึงวิธีการค้นหาทั้งหมดด้านบน)

หมายเหตุ

• ตรวจสอบให้แน่ใจว่าคุณมีไฟล์อินพุตที่ถูกต้อง (เช่นไฟล์ Parquet) ในไดเรกทอรี INPUT_DIR
• API ใช้การเขียนโปรแกรมแบบอะซิงโครนัสตรวจสอบให้แน่ใจว่าสภาพแวดล้อมของคุณรองรับการดำเนินการแบบ async
• สำหรับการปรับใช้ขนาดใหญ่ให้พิจารณาใช้เซิร์ฟเวอร์ ASGI เกรดการผลิต
• โครงการนี้ได้รับการออกแบบมาโดยเฉพาะสำหรับ Open WebUI และสามารถรวมเข้ากับแอปพลิเคชันบนเว็บได้อย่างง่ายดาย

การบริจาค

ยินดีต้อนรับคำขอดึง สำหรับการเปลี่ยนแปลงครั้งใหญ่โปรดเปิดปัญหาก่อนเพื่อหารือเกี่ยวกับสิ่งที่คุณต้องการเปลี่ยนแปลง

ใบอนุญาต

ใบอนุญาต Apache-2.0