markdown file query

Proyek ini saat ini bekerja paling baik dengan dokumen bahasa Inggris.

Tentang proyek ini

proyek ini

• Memanfaatkan model embedding Pinecone Vector (VDB) dan OpenAI (Vector) untuk mengubah teks menjadi vektor.
• Bekerja dengan file .md apa pun, jadi berfungsi sempurna dengan Notion & Obsidian (meskipun untuk gagasan Anda harus mengekspornya ke .md secara manual)
• adalah praktik penulis teknik Feynman.
• mungkin duplikat yang lebih lemah dari privategpt dan llama_index, jika Anda menginginkan program permintaan dokumen yang dibuat dengan indah, Anda harus menggunakan llama_index alih-alih mainan ini.

Panduan program ini

1. Setiap file markdown di direktori target dipotong menjadi banyak potongan kecil menggunakan langchain.textsplitter
2. Setiap chunck diubah menjadi vektor melalui model embedding Openai ( langchain.embeddings.OpenAIEmbeddings )
3. Vektor kemudian diunggah ke Pinecone Vector Database.
4. Kueri juga dikonversi ke vektor menggunakan model embedding vektor dan diunggah ke pinecone.
5. Untuk mengambil hasil pencarian, kami membandingkan vektor kueri dengan database vektor menggunakan pinecone (dengan kesamaan cosinus).
6. 3 hasil terdekat diambil dan dimasukkan ke dalam GPT-3 bersama dengan pertanyaan, dan GPT-3 akan menghasilkan jawaban dalam bahasa alami.

Todo

• Tambahkan opsi --help
• digunakan untuk streamlit

Memulai

Prasyarat

1. Siapkan Pinecone dan Openai API Key:
   • Kunci API Pinecone dapat diperoleh di sini.
   • Kunci API OpenAI dapat diperoleh di sini.
2. Untuk mengekspor kunci Pinecone dan Openai API ke lingkungan sistem

    export PINECONE_API_KEY= " your_pinecone_api_key "
   export OPENAI_API_KEY= " your_openai_api_key "

   sekarang dalam penggunaan python

    import os
   os . environ [ "PINECONE_API_KEY" ]
   os . environ [ "OPENAI_API_KEY" ]

   Untuk memeriksa apakah Anda telah diekspor ke lingkungan sistem, jika KeyError , lalu restart terminal setelah selesai (dan IDE Anda jika Anda menggunakannya).

Instalasi

1. Klon repo ini ke mesin lokal Anda

   git clone https://github.com/madeyexz/markdown-file-query.git 

2. Instal dependensi

   pip install pinecone langchain tqdm

Penggunaan

1. Siapkan file markdown dan masukkan ke dalam FOLDER (atau nama apa pun yang Anda sukai, tetapi Anda harus mengubah kode yang sesuai). Perhatikan ini harus berada di direktori yang sama dengan main.py
2. Jika ini adalah pertama kalinya Anda meminta dokumen tertentu, jalankan program main.py

   python3 main.py " PATH_OF_FOLDER " " QUESTION "

3. Hasil kueri dan referensi GPT yang digunakan untuk menghasilkan jawaban akan disimpan di answer.txt dan contents.txt masing -masing.
4. Jika Anda ingin meminta banyak dokumen yang sama, maka jalankan query_only.py untuk menghindari muncul kembali dokumen.

   python3 query_only.py " QUESTION "

Contoh

1. Saya memiliki folder bernama markdown_database yang berisi banyak file .md , saya ingin menanyakan database ini dengan pertanyaan "apa situasi aneh"

   ❯ python3 main.py " markdown_database " " what's the strange situation "                                                        

    initiating pinecone index...
   digesting docs...
   uploading datas to pinecone...
   92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████          | 60/65 [00:29<00:02,  1.87it/s]
   let's wait for 60 seconds to avoid RateLimitError... (since im not a paid user))
   100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 60/60 [01:00<00:00,  1.00s/it]
   100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 65/65 [01:32<00:00,  1.42s/it]
   querying pinecone...
   querying gpt...
   writing results to answer.txt and contents.txt
   done! the answer to 'what's the strange situation' is: '
   The Strange Situation is a standardized procedure devised by Mary Ainsworth in the 1970s to observe attachment security in children within the context of caregiver relationships. It applies to infants between the age of nine and 18 months and involves a series of eight episodes lasting approximately 3 minutes each, whereby a mother, child and stranger are introduced, separated and reunited. The procedure is used to observe the quality of a young child’s attachment to his or her mother, and can also be applied to other attachment figures, such as God, through the use of Emotionally Focused Therapy (EFT) and religious beliefs, such as the saying “there are no atheists in foxholes”.'
   

2. Jika saya ingin menanyakan database yang sama lagi, saya dapat menggunakan query_only.py untuk menghindari muncul kembali dokumen.

   ❯ python3 query_only.py " Who is Mary Ainsworth? " 

    connecting to pinecone index...
   getting docs
   querying pinecone...
   querying gpt...
   done! the answer to 'Who is Mary Ainsworth?' is: '
   Mary Ainsworth was a developmental psychologist who devised the Strange Situation in the 1970s to observe attachment security in children within the context of caregiver relationships. The Strange Situation involves a series of eight episodes lasting approximately 3 minutes each, whereby a mother, child and stranger are introduced, separated and reunited. Ainsworth is also known for her observation that if you want to see the quality of a young child’s attachment to his or her mother, watch what the child does, not when Mother leaves, but when she returns. She is also known for her research on anxious babies and their inability to use their mothers as a secure base.'
   

Batasan yang diketahui

1. Jika Anda menggunakan Pinecone, maka kapan pun Anda ingin meminta dokumen baru (yaitu membuat database baru), Anda mungkin harus membuat indeks Pinecone baru (karena Anda tidak ingin jawaban dari dokumen lama), atau hapus indeks lama. Ini karena Pinecone tidak mendukung memperbarui indeks (belum).

   Untuk menghapus indeks lama:

   python3 delete_pinecone_index.py NAME_OF_INDEX

Ucapan Terima Kasih

Teriakan besar ke komunitas open-source untuk memberikan contoh langsung dan tutorial komprehensif!

• Openai-Cookbook: Menggunakan database vektor untuk pencarian embeddings
• Bangun Aplikasi Web Mesin Pencari Pribadi Menggunakan Open AI Text Embeddings - AVRA
• Proyek ini sangat terinspirasi oleh hwchase17/notion-qa
• Langchain, perpustakaan Python untuk memanipulasi llms secara elegan.