Framework Docs AI

フレームワークドキュメントAI

フレームワークDocs AIは、さまざまなフレームワークのドキュメント管理に革命をもたらす強力なSaaSソリューションです。フレームワークのドキュメントをシームレスに削り、包括的な知識ベースを作成し、高度な言語モデルを利用して、ユーザークエリに正確で検索ベースの応答を提供します。

特徴

• 自動ドキュメントのスクレイピング：人気のあるフレームワークからドキュメントを簡単に収集します。
• インテリジェントナレッジベース：効率的な検索のために、スクレイプデータを保存および整理します。
• AI搭載の応答：正確な回答のために最先端の言語モデルを活用します。
• カスタマイズ可能なフレームワークサポート：独自のフレームワークを追加するか、既存のフレームワークを使用します。
• ユーザーフレンドリーインターフェイス：スムーズなユーザーエクスペリエンスのために、Streamlitで構築されています。

使用されたテクノロジー

• UI ：streamlit
• ベクトルデータベース：Chroma DB
• 関数呼び出し：PHIデータ
• 言語モデル：GPT-4O-MINI

サポートされているフレームワーク

1. ラングチェーン
2. next.js
3. Vue.js
4. Pytorch
5. チェーンリット
6. MDN Webドキュメント

はじめる

前提条件

• Python 3.7+
• ピップ

インストール

1. リポジトリをクローンします：

    git clone https://github.com/yourusername/framework-docs-ai.git
   cd framework-docs-ai
   

2. 必要な依存関係をインストールします：

    pip install -r requirements.txt
   

3. Openai APIキーを設定します：

   • ルートディレクトリに.envファイルを作成します
   • Openai APIキーを追加します：

      OPENAI_API_KEY=your_api_key_here
     

使用法

1. アプリケーションを実行します：

    python app.py
   

2. Webブラウザーを開き、提供されたローカルURL（通常http://localhost:8501 ）に移動します。

3. フレームワークのドキュメントの調査と質問を始めましょう！

？カスタムフレームワークの追加

独自のカスタムフレームワークをフレームワークドキュメントAIに追加できます。次の手順に従ってください：

1. URLをクロールする（crawler.py） ：

   • crawler.pyファイルは、 DomainCrawlerクラスを使用してWebサイトをcrawlし、URLを収集します。
   • 変更する重要なコンポーネント：

      CONFIGS = [
         {
             "start_url" : "https://your-framework-docs-url.com" ,
             "docs_path" : "/" ,
             "avoid_keywords" : [ "blog" , "about" , "community" ]
         },
         # You can add multiple configurations for different sections of your documentation
     ]
     
     OUTPUT_PATH = "data/Crawled_url/"
     FILE_NAME = "YOUR_FRAMEWORK_crawled.json"

   • CONFIGSリストをカスタマイズします。
     • start_url ：フレームワークのドキュメントのベースURL。
     • docs_path ：ドキュメントが開始される特定のパス。
     • avoid_keywords ：URLで避けるキーワードのリスト（ブログ投稿、コミュニティページなど）。
   • 必要に応じてOUTPUT_PATHとFILE_NAMEを更新します。
   • Crawlerは、使用可能な場合はSitemap.xmlを使用しようとし、指定されたdocs_pathからrawうに戻ります。
   • マルチスレッドを使用して、複数の構成を同時にクロールします。
   • crawler.pyを実行して、指定された出力ファイルにクロールされたURLを保存します。

2. コンテンツをこすります：

   • scrape.pyを使用して、rawleしたURLからコンテンツを抽出します。
   • scrape.pyのファイルパスを変更して、新しいフレームワークに一致します。

      if __name__ == "__main__" :
         Scrape ( "data/Crawled_url/YOUR_FRAMEWORK_crawled.json" , "data/Scraped_data/YOUR_FRAMEWORK_scraped.json" )

   • scrape.pyを実行して、 data/Scraped_dataディレクトリにスクレイプされたコンテンツを保存します。

3. Langchainドキュメント形式に変換します。

   • save.pyを使用して、削ったjsonをLangchainのドキュメントスキーマと互換性のあるピクルスファイルに変換します。
   • save.pyでファイルパスを更新します：

      if __name__ == "__main__" :
         convert_json_to_pkl ( 'data/Scraped_data/YOUR_FRAMEWORK_scraped.json' , 'data/Scraped_data/YOUR_FRAMEWORK_scraped.pkl' )

   • save.pyを実行してピクルスファイルを作成します。

4. app.pyを更新：

   • 新しいフレームワークの知識ベースを初期化します。

      kb_manager_your_framework = initialize_kb ( "Your Framework Name" , "./Vector_DB/YOUR_FRAMEWORK" , "data/Scraped_data/YOUR_FRAMEWORK_scraped.pkl" )

   • フレームワークのアシスタントを作成します。

      assistant_your_framework = create_assistant ( "Your Framework Name" , api_key , kb_manager_your_framework ) if kb_manager_your_framework else None

   • サイドバーオプションにフレームワークを追加します。

      options = [ "Langchain Python" , "Next.js" , "Vue.js" , "MDN_WEB" , "Pytorch" , "Chainlit" , "Your Framework Name" ],

   • フレームワークの選択を処理します。

      elif selected == "Your Framework Name" and assistant_your_framework :
         display_framework ( assistant_your_framework , "Your Framework Name" )

5. アプリケーションを再起動します：

   • app.pyをもう一度実行して、新しいフレームワークが動作しているのを確認します。

「Your_Framework」と「Framework Name」をカスタムフレームワークの適切な名前に置き換えることを忘れないでください。

？貢献

貢献を歓迎します！詳細については、寄稿ガイドをご覧ください。

？ライセンス

このプロジェクトは、MITライセンスに基づいてライセンスされています。詳細については、ライセンスファイルを参照してください。

謝辞

• 直感的なUIフレームワーク用の流線
• これを可能にしたすべてのオープンソースプロジェクト

---