markdown file query

โครงการนี้ทำงานได้ดีที่สุดกับเอกสารภาษาอังกฤษ

เกี่ยวกับโครงการนี้

โครงการนี้

• ใช้ประโยชน์จากฐานข้อมูลเวกเตอร์ Pinecone (VDB) และ OpenAI (Vector) แบบจำลองเพื่อเปลี่ยนข้อความเป็นเวกเตอร์
• ทำงานกับไฟล์ .md ใด ๆ ดังนั้นมันจึงทำงานได้อย่างสมบูรณ์แบบกับแนวคิดและ Obsidian (แม้ว่าสำหรับความคิดที่คุณต้องส่งออกไปยัง .md ด้วยตนเองก่อน)
• เป็นวิธีปฏิบัติของผู้เขียนเกี่ยวกับเทคนิค Feynman
• น่าจะเป็น Privategpt และ LLAMA_INDEX ที่อ่อนแอกว่าหากคุณต้องการโปรแกรมสอบถามเอกสารที่สร้างขึ้นอย่างสวยงามคุณควรใช้ LLAMA_INDEX แทนของเล่นนี้

คำแนะนำของโปรแกรมนี้

1. ไฟล์ Markdown แต่ละไฟล์ในไดเรกทอรีเป้าหมายจะถูกตัดเป็นชิ้นเล็ก ๆ จำนวนมากโดยใช้ langchain.textsplitter
2. chunck แต่ละตัวจะกลายเป็นเวกเตอร์ผ่านโมเดลการฝังของ Openai ( langchain.embeddings.OpenAIEmbeddings )
3. จากนั้นเวกเตอร์จะถูกอัปโหลดไปยังฐานข้อมูลเวกเตอร์ Pinecone
4. แบบสอบถามจะถูกแปลงเป็นเวกเตอร์โดยใช้โมเดลการฝังเวกเตอร์และอัปโหลดไปยัง pinecone
5. ในการดึงผลลัพธ์การค้นหาเราเปรียบเทียบเวกเตอร์แบบสอบถามกับฐานข้อมูลเวกเตอร์โดยใช้ pinecone (โดยความคล้ายคลึงกันของโคไซน์)
6. ผลลัพธ์ที่ใกล้เคียงที่สุด 3 จะถูกดึงและป้อนเข้าสู่ GPT-3 พร้อมกับคำถามและ GPT-3 จะสร้างคำตอบในภาษาธรรมชาติ

สิ่งที่ต้องทำ

• เพิ่มตัวเลือก --help
• ปรับใช้เพื่อ streamlit

เริ่มต้น

ข้อกำหนดเบื้องต้น

1. เตรียมกุญแจ Pinecone และ Openai API:
   • สามารถรับคีย์ Pinecone API ได้ที่นี่
   • สามารถรับคีย์ OpenAI API ได้ที่นี่
2. ในการส่งออกแป้น Pinecone และ Openai API ไปยังสภาพแวดล้อมระบบ

    export PINECONE_API_KEY= " your_pinecone_api_key "
   export OPENAI_API_KEY= " your_openai_api_key "

   ตอนนี้ใช้ Python

    import os
   os . environ [ "PINECONE_API_KEY" ]
   os . environ [ "OPENAI_API_KEY" ]

   เพื่อตรวจสอบว่าคุณมีการส่งออกไปยังสภาพแวดล้อมระบบหรือไม่หาก KeyError ให้รีสตาร์ทเทอร์มินัลเมื่อเสร็จสิ้น (และ IDE ของคุณหากคุณใช้งาน)

การติดตั้ง

1. โคลน repo นี้ไปยังเครื่องในพื้นที่ของคุณ

   git clone https://github.com/madeyexz/markdown-file-query.git 

2. ติดตั้งการอ้างอิง

   pip install pinecone langchain tqdm

การใช้งาน

1. เตรียมไฟล์ Markdown และวางไว้ใน FOLDER (หรือชื่อใด ๆ ที่คุณชอบ แต่คุณต้องเปลี่ยนรหัสตามนั้น) สังเกตว่าสิ่งนี้ควรอยู่ในไดเรกทอรีเดียวกับ main.py
2. หากนี่เป็นครั้งแรกที่คุณสอบถามเอกสารบางฉบับให้เรียกใช้โปรแกรม main.py

   python3 main.py " PATH_OF_FOLDER " " QUESTION "

3. ผลลัพธ์การสืบค้นและ GPT อ้างอิงที่ใช้ในการสร้างคำตอบจะถูกบันทึกไว้ใน answer.txt และ contents.txt ตามลำดับ
4. หากคุณต้องการสอบถามชุดเอกสารชุดเดียวกันอีกครั้งให้เรียกใช้ query_only.py เพื่อหลีกเลี่ยงการฝังเอกสารอีกครั้ง

   python3 query_only.py " QUESTION "

ตัวอย่าง

1. ฉันมีโฟลเดอร์ที่เรียกว่า markdown_database ซึ่งมีไฟล์ .md พวงฉันต้องการสอบถามฐานข้อมูลนี้ด้วยคำถาม "Whats the Strange Situation"

   ❯ python3 main.py " markdown_database " " what's the strange situation "                                                        

    initiating pinecone index...
   digesting docs...
   uploading datas to pinecone...
   92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████          | 60/65 [00:29<00:02,  1.87it/s]
   let's wait for 60 seconds to avoid RateLimitError... (since im not a paid user))
   100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 60/60 [01:00<00:00,  1.00s/it]
   100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 65/65 [01:32<00:00,  1.42s/it]
   querying pinecone...
   querying gpt...
   writing results to answer.txt and contents.txt
   done! the answer to 'what's the strange situation' is: '
   The Strange Situation is a standardized procedure devised by Mary Ainsworth in the 1970s to observe attachment security in children within the context of caregiver relationships. It applies to infants between the age of nine and 18 months and involves a series of eight episodes lasting approximately 3 minutes each, whereby a mother, child and stranger are introduced, separated and reunited. The procedure is used to observe the quality of a young child’s attachment to his or her mother, and can also be applied to other attachment figures, such as God, through the use of Emotionally Focused Therapy (EFT) and religious beliefs, such as the saying “there are no atheists in foxholes”.'
   

2. หากฉันต้องการสอบถามฐานข้อมูลเดียวกันอีกครั้งฉันสามารถใช้ query_only.py เพื่อหลีกเลี่ยงการฝังเอกสารอีกครั้ง

   ❯ python3 query_only.py " Who is Mary Ainsworth? " 

    connecting to pinecone index...
   getting docs
   querying pinecone...
   querying gpt...
   done! the answer to 'Who is Mary Ainsworth?' is: '
   Mary Ainsworth was a developmental psychologist who devised the Strange Situation in the 1970s to observe attachment security in children within the context of caregiver relationships. The Strange Situation involves a series of eight episodes lasting approximately 3 minutes each, whereby a mother, child and stranger are introduced, separated and reunited. Ainsworth is also known for her observation that if you want to see the quality of a young child’s attachment to his or her mother, watch what the child does, not when Mother leaves, but when she returns. She is also known for her research on anxious babies and their inability to use their mothers as a secure base.'
   

ข้อ จำกัด ที่รู้จัก

1. หากคุณใช้ Pinecone เมื่อใดก็ตามที่คุณต้องการสอบถามเอกสารใหม่ (เช่นการสร้างฐานข้อมูลใหม่) คุณควรสร้างดัชนี pinecone ใหม่ (สำหรับคุณไม่ต้องการคำตอบจากเอกสารเก่า) หรือลบดัชนีเก่า นี่เป็นเพราะ Pinecone ไม่รองรับการอัปเดตดัชนี (ยัง)

   เพื่อลบดัชนีเก่า:

   python3 delete_pinecone_index.py NAME_OF_INDEX

กิตติกรรมประกาศ

ตะโกนออกมาอย่างมากไปยังชุมชนโอเพนซอร์ซเพื่อให้ตัวอย่างตรงไปตรงมาและแบบฝึกหัดที่ครอบคลุม!

• Openai-Cookbook: การใช้ฐานข้อมูลเวกเตอร์สำหรับการค้นหา Embeddings
• สร้างเว็บแอป Search Engine ส่วนตัวโดยใช้ Open AI Text Embeddings - Avra
• โครงการนี้ได้รับแรงบันดาลใจอย่างมากจาก HWCHASE17/NOTION-QA
• Langchain ห้องสมุด Python สำหรับการจัดการ LLM อย่างสง่างาม