Framework Docs AI

框架文檔AI

框架文檔AI是一種強大的SaaS解決方案，可徹底改變各種框架的文檔管理。它無縫刮擦框架文檔，創建一個全面的知識庫，並利用高級語言模型來提供對用戶查詢的準確，基於檢索的響應。

特徵

• 自動文檔刮擦：輕鬆地從流行框架中收集文檔。
• 智能知識庫：存儲和組織刮擦數據以有效檢索。
• AI驅動的響應：利用最先進的語言模型來準確答案。
• 可自定義的框架支持：添加您自己的框架或使用現有框架。
• 用戶友好的界面：使用簡化構建，以獲得光滑的用戶體驗。

使用的技術

• UI ：簡化
• 矢量數據庫：色度數據庫
• 功能調用：PHI數據
• 語言模型：GPT-4O-Mini

支持的框架

1. Langchain
2. next.js
3. vue.js
4. Pytorch
5. 鏈條
6. MDN Web文檔

入門

先決條件

• Python 3.7+
• pip

安裝

1. 克隆存儲庫：

    git clone https://github.com/yourusername/framework-docs-ai.git
   cd framework-docs-ai
   

2. 安裝所需的依賴項：

    pip install -r requirements.txt
   

3. 設置您的OpenAI API密鑰：

   • 在根目錄中創建.env文件
   • 添加您的OpenAI API密鑰：

      OPENAI_API_KEY=your_api_key_here
     

用法

1. 運行應用程序：

    python app.py
   

2. 打開您的Web瀏覽器並導航到提供的本地URL（通常是http://localhost:8501 ）。

3. 開始探索框架文檔並提出問題！

？添加自定義框架

您可以將自己的自定義框架添加到框架文檔AI中。請按照以下步驟：

1. 爬網（crawler.py） ：

   • crawler.py文件使用DomainCrawler類來爬網網站並收集URL。
   • 要修改的關鍵組件：

      CONFIGS = [
         {
             "start_url" : "https://your-framework-docs-url.com" ,
             "docs_path" : "/" ,
             "avoid_keywords" : [ "blog" , "about" , "community" ]
         },
         # You can add multiple configurations for different sections of your documentation
     ]
     
     OUTPUT_PATH = "data/Crawled_url/"
     FILE_NAME = "YOUR_FRAMEWORK_crawled.json"

   • 自定義CONFIGS列表：
     • start_url ：框架文檔的基本URL。
     • docs_path ：文檔啟動的特定路徑。
     • avoid_keywords ：在URL中避免的關鍵字列表（例如，博客文章，社區頁面）。
   • 根據需要更新OUTPUT_PATH和FILE_NAME 。
   • 該爬蟲試圖使用sitemap.xml（如果有），然後從指定的docs_path爬回爬網。
   • 它使用多線程同時爬網多個配置。
   • 運行crawler.py以將爬行的URL保存在指定的輸出文件中。

2. 刮擦內容：

   • 使用scrape.py從爬行的URL中提取內容。
   • 修改scrape.py中的文件路徑以匹配您的新框架：

      if __name__ == "__main__" :
         Scrape ( "data/Crawled_url/YOUR_FRAMEWORK_crawled.json" , "data/Scraped_data/YOUR_FRAMEWORK_scraped.json" )

   • 運行scrape.py以將刮擦內容保存在data/Scraped_data目錄中。

3. 轉換為Langchain文檔格式：

   • 使用save.py將刮擦的JSON轉換為與Langchain的文檔模式兼容的泡菜文件。
   • 在save.py中更新文件路徑：

      if __name__ == "__main__" :
         convert_json_to_pkl ( 'data/Scraped_data/YOUR_FRAMEWORK_scraped.json' , 'data/Scraped_data/YOUR_FRAMEWORK_scraped.pkl' )

   • 運行save.py以創建泡菜文件。

4. 更新app.py ：

   • 初始化新框架的知識庫：

      kb_manager_your_framework = initialize_kb ( "Your Framework Name" , "./Vector_DB/YOUR_FRAMEWORK" , "data/Scraped_data/YOUR_FRAMEWORK_scraped.pkl" )

   • 為您的框架創建助手：

      assistant_your_framework = create_assistant ( "Your Framework Name" , api_key , kb_manager_your_framework ) if kb_manager_your_framework else None

   • 將您的框架添加到側邊欄選項中：

      options = [ "Langchain Python" , "Next.js" , "Vue.js" , "MDN_WEB" , "Pytorch" , "Chainlit" , "Your Framework Name" ],

   • 處理您的框架的選擇：

      elif selected == "Your Framework Name" and assistant_your_framework :
         display_framework ( assistant_your_framework , "Your Framework Name" )

5. 重新啟動應用程序：

   • 再次運行app.py ，以查看您的新框架。

請記住，用適合您的自定義框架的名稱替換“ your_framework”和“您的框架名稱”。

？貢獻

我們歡迎捐款！請參閱我們的貢獻指南以獲取更多詳細信息。

？執照

該項目是根據MIT許可證獲得許可的 - 有關詳細信息，請參見許可證文件。

致謝

• 簡化直觀的UI框架
• 所有使這一切成為可能的開源項目

---