Framework Docs AI

Kerangka kerja Docs ai

Framework Docs AI adalah solusi SaaS yang kuat yang merevolusi manajemen dokumentasi untuk berbagai kerangka kerja. Ini dengan mulus mengikis dokumentasi kerangka kerja, menciptakan basis pengetahuan yang komprehensif, dan menggunakan model bahasa canggih untuk memberikan respons yang akurat dan berbasis pengambilan terhadap kueri pengguna.

Fitur

• Pengikisan dokumentasi otomatis : Kumpulkan dokumentasi yang mudah dari kerangka kerja populer.
• Basis Pengetahuan Cerdas : Menyimpan dan mengatur data yang dikikis untuk pengambilan yang efisien.
• Tanggapan bertenaga AI : Leverage model bahasa canggih untuk jawaban yang akurat.
• Dukungan kerangka kerja yang dapat disesuaikan : Tambahkan kerangka kerja Anda sendiri atau gunakan yang sudah ada.
• Antarmuka yang ramah pengguna : Dibangun dengan StreamLit untuk pengalaman pengguna yang lancar.

Teknologi digunakan

• UI : Streamlit
• Database Vektor : Chroma DB
• Panggilan Fungsi : Data PHI
• Model Bahasa : GPT-4O-Mini

Kerangka kerja yang didukung

1. Langchain
2. Next.js
3. Vue.js
4. Pytorch
5. Rantai
6. MDN Web Docs

Memulai

Prasyarat

• Python 3.7+
• Pip

Instalasi

1. Klon Repositori:

    git clone https://github.com/yourusername/framework-docs-ai.git
   cd framework-docs-ai
   

2. Pasang dependensi yang diperlukan:

    pip install -r requirements.txt
   

3. Siapkan Kunci API OpenAI Anda:

   • Buat file .env di direktori root
   • Tambahkan Kunci API OpenAI Anda:

      OPENAI_API_KEY=your_api_key_here
     

Penggunaan

1. Jalankan aplikasi:

    python app.py
   

2. Buka browser web Anda dan navigasikan ke URL lokal yang disediakan (biasanya http://localhost:8501 ).

3. Mulailah menjelajahi dokumentasi kerangka kerja dan mengajukan pertanyaan!

? Menambahkan kerangka kerja khusus

Anda dapat menambahkan kerangka kerja khusus Anda sendiri ke kerangka kerja dokumen AI. Ikuti langkah -langkah ini:

1. Merangkak url (crawler.py) :

   • File crawler.py menggunakan kelas DomainCrawler untuk merangkak situs web dan mengumpulkan URL.
   • Komponen kunci untuk memodifikasi:

      CONFIGS = [
         {
             "start_url" : "https://your-framework-docs-url.com" ,
             "docs_path" : "/" ,
             "avoid_keywords" : [ "blog" , "about" , "community" ]
         },
         # You can add multiple configurations for different sections of your documentation
     ]
     
     OUTPUT_PATH = "data/Crawled_url/"
     FILE_NAME = "YOUR_FRAMEWORK_crawled.json"

   • Kustomisasi daftar CONFIGS :
     • start_url : URL dasar dari dokumentasi kerangka kerja Anda.
     • docs_path : Jalur spesifik tempat dokumentasi dimulai.
     • avoid_keywords : Daftar kata kunci yang harus dihindari di URL (misalnya, posting blog, halaman komunitas).
   • Perbarui OUTPUT_PATH dan FILE_NAME sesuai kebutuhan.
   • Perayap mencoba menggunakan sitemap.xml jika tersedia, lalu kembali merangkak dari docs_path yang ditentukan.
   • Menggunakan multi-threading untuk merangkak beberapa konfigurasi secara bersamaan.
   • Jalankan crawler.py untuk menyimpan URL merangkak dalam file output yang ditentukan.

2. Mengikis konten :

   • Gunakan scrape.py untuk mengekstrak konten dari URL merangkak.
   • Ubah jalur file di scrape.py agar sesuai dengan kerangka kerja baru Anda:

      if __name__ == "__main__" :
         Scrape ( "data/Crawled_url/YOUR_FRAMEWORK_crawled.json" , "data/Scraped_data/YOUR_FRAMEWORK_scraped.json" )

   • Jalankan scrape.py untuk menyimpan konten yang dikikis di direktori data/Scraped_data .

3. Konversi ke format dokumen Langchain :

   • Gunakan save.py untuk mengonversi JSON yang dikikis menjadi file acar yang kompatibel dengan skema dokumen Langchain.
   • Perbarui jalur file di save.py :

      if __name__ == "__main__" :
         convert_json_to_pkl ( 'data/Scraped_data/YOUR_FRAMEWORK_scraped.json' , 'data/Scraped_data/YOUR_FRAMEWORK_scraped.pkl' )

   • Jalankan save.py untuk membuat file acar.

4. Perbarui app.py :

   • Inisialisasi basis pengetahuan untuk kerangka kerja baru Anda:

      kb_manager_your_framework = initialize_kb ( "Your Framework Name" , "./Vector_DB/YOUR_FRAMEWORK" , "data/Scraped_data/YOUR_FRAMEWORK_scraped.pkl" )

   • Buat asisten untuk kerangka kerja Anda:

      assistant_your_framework = create_assistant ( "Your Framework Name" , api_key , kb_manager_your_framework ) if kb_manager_your_framework else None

   • Tambahkan kerangka kerja Anda ke opsi sidebar:

      options = [ "Langchain Python" , "Next.js" , "Vue.js" , "MDN_WEB" , "Pytorch" , "Chainlit" , "Your Framework Name" ],

   • Tangani pemilihan kerangka kerja Anda:

      elif selected == "Your Framework Name" and assistant_your_framework :
         display_framework ( assistant_your_framework , "Your Framework Name" )

5. Mulai ulang aplikasi :

   • Jalankan app.py lagi untuk melihat kerangka kerja baru Anda sedang beraksi.

Ingatlah untuk mengganti "your_framework" dan "nama kerangka kerja Anda" dengan nama yang sesuai untuk kerangka kerja khusus Anda.

? Berkontribusi

Kami menyambut kontribusi! Silakan lihat panduan berkontribusi kami untuk detail lebih lanjut.

? Lisensi

Proyek ini dilisensikan di bawah lisensi MIT - lihat file lisensi untuk detailnya.

Ucapan Terima Kasih

• Streamlit untuk kerangka UI intuitif
• Semua proyek open-source yang memungkinkan hal ini

---