efficient document search and summarization engine

การค้นหาเอกสารและเครื่องมือสรุปที่มีประสิทธิภาพ

ภาพรวม

เอ็นจิ้นการค้นหาเอกสารและการสรุปที่มีประสิทธิภาพ เป็นเครื่องมือที่ทรงพลังที่ออกแบบมาเพื่อเพิ่มประสิทธิภาพการวิจัยและความชัดเจนโดยการรวมโมเดลภาษาขนาดใหญ่ขั้นสูง (LLMS) เช่น ChatGPT และ LLAMA โครงการนี้ใช้ประโยชน์จากเทคโนโลยีที่ทันสมัยเพื่อให้การค้นหาเอกสารและประสบการณ์การสรุปที่ราบรื่นและมีประสิทธิภาพ

คุณสมบัติ

• การรวม LLM : ใช้ LLM ชั้นนำในการสรุปผลการวิจัยเพิ่มประสิทธิภาพและความชัดเจนของผลงานวิจัย
• Restful API : นำเสนอ API ที่แข็งแกร่งสำหรับเอกสารและการสืบค้นแบบสอบถามทำให้มั่นใจได้ว่าผลการค้นหาที่เหมาะสมและแม่นยำ
• ฐานข้อมูลเวกเตอร์ : ใช้ฐานข้อมูลเวกเตอร์สำหรับการจัดเก็บและการดึงที่มีประสิทธิภาพปรับปรุงประสิทธิภาพการค้นหา
• อัลกอริทึมขั้นสูง : ใช้ความคล้ายคลึงกันของโคไซน์และการจัดกลุ่ม k-means เพื่อให้แน่ใจว่าการสกัดข้อความและการจับคู่แบบสอบถามที่แม่นยำ

เทคโนโลยีที่ใช้

• Python : ภาษาการเขียนโปรแกรมหลักเพื่อการพัฒนา
• Fastapi : เฟรมเวิร์กสำหรับการสร้าง API ที่พักผ่อน
• Langchain : Toolchain สำหรับการรวมโมเดลภาษา
• MongoDB : ฐานข้อมูลสำหรับการจัดเก็บเอกสารและข้อมูลเมตา
• PINECONE : ฐานข้อมูลเวกเตอร์สำหรับที่เก็บข้อมูลแบบสอบถามที่ดีที่สุดและการดึงข้อมูล

การติดตั้ง

หากต้องการตั้งค่าโครงการในพื้นที่ให้ทำตามขั้นตอนเหล่านี้:

1. โคลนที่เก็บ :

   git clone https://github.com/mananjain02/efficient-document-search-and-summarization-engine.git
   cd efficient-document-search-and-summarization-engine

2. สร้างสภาพแวดล้อมเสมือนจริง :

   python -m venv venv
   source venv/bin/activate

3. ติดตั้งการพึ่งพา :

   pip install -r requirements.txt

4. ตั้งค่าตัวแปรสภาพแวดล้อม : สร้างไฟล์ .env ในไดเรกทอรีรูทและเพิ่มการตั้งค่าการกำหนดค่าของคุณ

    MONGODB_URL = <mongo-db-uri>
   SECRET_KEY = <bcrypt-key>
   ALGORITHM = " HS256 "
   DATABASE = <database-name>
   EMBEDDINGS_MODEL = " BAAI/bge-large-en-v1.5 "
   VECTOR_DATABASES_FOLDER = " vector_databases "
   OPENAI_API_KEY = <open-ai-key-if-want-to-use-chatgpt>
   TOKENIZERS_PARALLELISM = " False "

5. เรียกใช้แอปพลิเคชัน :

   uvicorn main:app --reload

การใช้งาน

เอกสาร API

เอกสาร API และรายละเอียดเพิ่มเติมสามารถเข้าถึงได้โดยใช้ Swagger เมื่อแอปพลิเคชันทำงานแล้วให้ไปที่ http://localhost:8000/docs เพื่อสำรวจและโต้ตอบกับจุดสิ้นสุด API