Framework Docs AI

Framework Docs AI

Framework Docs AI เป็นโซลูชัน SaaS ที่ทรงพลังที่ปฏิวัติการจัดการเอกสารสำหรับเฟรมเวิร์กต่างๆ มันทำให้เอกสารเฟรมเวิร์กได้อย่างราบรื่นสร้างฐานความรู้ที่ครอบคลุมและใช้แบบจำลองภาษาขั้นสูงเพื่อให้การตอบสนองที่ถูกต้องตามการดึงข้อมูลที่ถูกต้องต่อการสืบค้นผู้ใช้

คุณสมบัติ

• การตรวจสอบเอกสารอัตโนมัติ : รวบรวมเอกสารจากเฟรมเวิร์กยอดนิยมได้อย่างง่ายดาย
• ฐานความรู้อัจฉริยะ : จัดเก็บและจัดระเบียบข้อมูลที่คัดลอกมาเพื่อการดึงข้อมูลที่มีประสิทธิภาพ
• คำตอบที่ขับเคลื่อนด้วย AI : ใช้ประโยชน์จากแบบจำลองภาษาที่ทันสมัยสำหรับคำตอบที่แม่นยำ
• การสนับสนุนเฟรมเวิร์กที่ปรับแต่งได้ : เพิ่มเฟรมเวิร์กของคุณเองหรือใช้งานที่มีอยู่
• อินเทอร์เฟซที่ใช้งานง่าย : สร้างด้วย Streamlit เพื่อประสบการณ์การใช้งานที่ราบรื่น

เทคโนโลยีที่ใช้

• ui : streamlit
• ฐานข้อมูลเวกเตอร์ : Chroma DB
• การเรียกใช้ฟังก์ชัน : ข้อมูล PHI
• รูปแบบภาษา : GPT-4O-MINI

เฟรมเวิร์กที่รองรับ

1. คนขี้เกียจ
2. next.js
3. vue.js
4. pytorch
5. ผู้มีแสงเชน
6. เอกสารเว็บ MDN

เริ่มต้น

ข้อกำหนดเบื้องต้น

• Python 3.7+
• ปิ๊ก

การติดตั้ง

1. โคลนที่เก็บ:

    git clone https://github.com/yourusername/framework-docs-ai.git
   cd framework-docs-ai
   

2. ติดตั้งการพึ่งพาที่ต้องการ:

    pip install -r requirements.txt
   

3. ตั้งค่าคีย์ OpenAI API ของคุณ:

   • สร้างไฟล์ .env ในไดเรกทอรีรูท
   • เพิ่มคีย์ OpenAI API ของคุณ:

      OPENAI_API_KEY=your_api_key_here
     

การใช้งาน

1. เรียกใช้แอปพลิเคชัน:

    python app.py
   

2. เปิดเว็บเบราว์เซอร์ของคุณและนำทางไปยัง URL ท้องถิ่นที่ให้ไว้ (โดยปกติจะ http://localhost:8501 )

3. เริ่มสำรวจเอกสารกรอบงานและถามคำถาม!

- การเพิ่มเฟรมเวิร์กที่กำหนดเอง

คุณสามารถเพิ่มเฟรมเวิร์กที่กำหนดเองของคุณเองลงใน Docs AI Framework ทำตามขั้นตอนเหล่านี้:

1. รวบรวมข้อมูล URL (crawler.py) :

   • ไฟล์ crawler.py ใช้คลาส DomainCrawler เพื่อรวบรวมข้อมูลเว็บไซต์และรวบรวม URL
   • องค์ประกอบสำคัญในการแก้ไข:

      CONFIGS = [
         {
             "start_url" : "https://your-framework-docs-url.com" ,
             "docs_path" : "/" ,
             "avoid_keywords" : [ "blog" , "about" , "community" ]
         },
         # You can add multiple configurations for different sections of your documentation
     ]
     
     OUTPUT_PATH = "data/Crawled_url/"
     FILE_NAME = "YOUR_FRAMEWORK_crawled.json"

   • ปรับแต่งรายการ CONFIGS :
     • start_url : URL พื้นฐานของเอกสารของเฟรมเวิร์กของคุณ
     • docs_path : เส้นทางเฉพาะที่เอกสารเริ่มต้น
     • avoid_keywords : รายการคำหลักที่จะหลีกเลี่ยงใน URL (เช่นโพสต์บล็อก, หน้าชุมชน)
   • อัปเดต OUTPUT_PATH และ FILE_NAME ตามต้องการ
   • ตัวรวบรวมข้อมูลพยายามใช้ sitemap.xml ถ้ามีให้แล้วจะกลับไปที่การรวบรวมข้อมูลจาก docs_path ที่ระบุ
   • มันใช้มัลติเธรดเพื่อรวบรวมข้อมูลหลายการกำหนดค่าพร้อมกัน
   • เรียกใช้ crawler.py เพื่อบันทึก URL ที่รวบรวมไว้ในไฟล์เอาต์พุตที่ระบุ

2. ขูดเนื้อหา :

   • ใช้ scrape.py เพื่อแยกเนื้อหาจาก URL ที่รวบรวมข้อมูล
   • แก้ไขพา ธ ไฟล์ใน scrape.py เพื่อให้ตรงกับเฟรมเวิร์กใหม่ของคุณ:

      if __name__ == "__main__" :
         Scrape ( "data/Crawled_url/YOUR_FRAMEWORK_crawled.json" , "data/Scraped_data/YOUR_FRAMEWORK_scraped.json" )

   • เรียกใช้ scrape.py เพื่อบันทึกเนื้อหาที่ถูกคัดลอกในไดเรกทอรี data/Scraped_data

3. แปลงเป็นรูปแบบเอกสาร Langchain :

   • ใช้ save.py เพื่อแปลง JSON ที่คัดลอกมาเป็นไฟล์ดองที่เข้ากันได้กับสคีมาเอกสารของ Langchain
   • อัปเดตพา ธ ไฟล์ใน save.py :

      if __name__ == "__main__" :
         convert_json_to_pkl ( 'data/Scraped_data/YOUR_FRAMEWORK_scraped.json' , 'data/Scraped_data/YOUR_FRAMEWORK_scraped.pkl' )

   • เรียกใช้ save.py เพื่อสร้างไฟล์ Pickle

4. อัปเดต app.py :

   • เริ่มต้นฐานความรู้สำหรับกรอบใหม่ของคุณ:

      kb_manager_your_framework = initialize_kb ( "Your Framework Name" , "./Vector_DB/YOUR_FRAMEWORK" , "data/Scraped_data/YOUR_FRAMEWORK_scraped.pkl" )

   • สร้างผู้ช่วยสำหรับกรอบของคุณ:

      assistant_your_framework = create_assistant ( "Your Framework Name" , api_key , kb_manager_your_framework ) if kb_manager_your_framework else None

   • เพิ่มเฟรมเวิร์กของคุณไปยังตัวเลือกแถบด้านข้าง:

      options = [ "Langchain Python" , "Next.js" , "Vue.js" , "MDN_WEB" , "Pytorch" , "Chainlit" , "Your Framework Name" ],

   • จัดการกับการเลือกเฟรมเวิร์กของคุณ:

      elif selected == "Your Framework Name" and assistant_your_framework :
         display_framework ( assistant_your_framework , "Your Framework Name" )

5. รีสตาร์ทแอปพลิเคชัน :

   • เรียกใช้ app.py อีกครั้งเพื่อดูเฟรมเวิร์กใหม่ของคุณในการดำเนินการ

อย่าลืมแทนที่ "your_framework" และ "ชื่อเฟรมเวิร์กของคุณ" ด้วยชื่อที่เหมาะสมสำหรับเฟรมเวิร์กที่กำหนดเองของคุณ

- การบริจาค

เรายินดีต้อนรับผลงาน! โปรดดูคู่มือการสนับสนุนของเราสำหรับรายละเอียดเพิ่มเติม

- ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT - ดูไฟล์ใบอนุญาตสำหรับรายละเอียด

กิตติกรรมประกาศ

• Streamlit สำหรับกรอบ UI ที่ใช้งานง่าย
• โครงการโอเพนซอร์ซทั้งหมดที่ทำให้สิ่งนี้เป็นไปได้

---