Framework Docs AI

框架文档AI

框架文档AI是一种强大的SaaS解决方案，可彻底改变各种框架的文档管理。它无缝刮擦框架文档，创建一个全面的知识库，并利用高级语言模型来提供对用户查询的准确，基于检索的响应。

特征

• 自动文档刮擦：轻松地从流行框架中收集文档。
• 智能知识库：存储和组织刮擦数据以有效检索。
• AI驱动的响应：利用最先进的语言模型来准确答案。
• 可自定义的框架支持：添加您自己的框架或使用现有框架。
• 用户友好的界面：使用简化构建，以获得光滑的用户体验。

使用的技术

• UI ：简化
• 矢量数据库：色度数据库
• 功能调用：PHI数据
• 语言模型：GPT-4O-Mini

支持的框架

1. Langchain
2. next.js
3. vue.js
4. Pytorch
5. 链条
6. MDN Web文档

入门

先决条件

• Python 3.7+
• pip

安装

1. 克隆存储库：

    git clone https://github.com/yourusername/framework-docs-ai.git
   cd framework-docs-ai
   

2. 安装所需的依赖项：

    pip install -r requirements.txt
   

3. 设置您的OpenAI API密钥：

   • 在根目录中创建.env文件
   • 添加您的OpenAI API密钥：

      OPENAI_API_KEY=your_api_key_here
     

用法

1. 运行应用程序：

    python app.py
   

2. 打开您的Web浏览器并导航到提供的本地URL（通常是http://localhost:8501 ）。

3. 开始探索框架文档并提出问题！

？添加自定义框架

您可以将自己的自定义框架添加到框架文档AI中。请按照以下步骤：

1. 爬网（crawler.py） ：

   • crawler.py文件使用DomainCrawler类来爬网网站并收集URL。
   • 要修改的关键组件：

      CONFIGS = [
         {
             "start_url" : "https://your-framework-docs-url.com" ,
             "docs_path" : "/" ,
             "avoid_keywords" : [ "blog" , "about" , "community" ]
         },
         # You can add multiple configurations for different sections of your documentation
     ]
     
     OUTPUT_PATH = "data/Crawled_url/"
     FILE_NAME = "YOUR_FRAMEWORK_crawled.json"

   • 自定义CONFIGS列表：
     • start_url ：框架文档的基本URL。
     • docs_path ：文档启动的特定路径。
     • avoid_keywords ：在URL中避免的关键字列表（例如，博客文章，社区页面）。
   • 根据需要更新OUTPUT_PATH和FILE_NAME 。
   • 该爬虫试图使用sitemap.xml（如果有），然后从指定的docs_path爬回爬网。
   • 它使用多线程同时爬网多个配置。
   • 运行crawler.py以将爬行的URL保存在指定的输出文件中。

2. 刮擦内容：

   • 使用scrape.py从爬行的URL中提取内容。
   • 修改scrape.py中的文件路径以匹配您的新框架：

      if __name__ == "__main__" :
         Scrape ( "data/Crawled_url/YOUR_FRAMEWORK_crawled.json" , "data/Scraped_data/YOUR_FRAMEWORK_scraped.json" )

   • 运行scrape.py以将刮擦内容保存在data/Scraped_data目录中。

3. 转换为Langchain文档格式：

   • 使用save.py将刮擦的JSON转换为与Langchain的文档模式兼容的泡菜文件。
   • 在save.py中更新文件路径：

      if __name__ == "__main__" :
         convert_json_to_pkl ( 'data/Scraped_data/YOUR_FRAMEWORK_scraped.json' , 'data/Scraped_data/YOUR_FRAMEWORK_scraped.pkl' )

   • 运行save.py以创建泡菜文件。

4. 更新app.py ：

   • 初始化新框架的知识库：

      kb_manager_your_framework = initialize_kb ( "Your Framework Name" , "./Vector_DB/YOUR_FRAMEWORK" , "data/Scraped_data/YOUR_FRAMEWORK_scraped.pkl" )

   • 为您的框架创建助手：

      assistant_your_framework = create_assistant ( "Your Framework Name" , api_key , kb_manager_your_framework ) if kb_manager_your_framework else None

   • 将您的框架添加到侧边栏选项中：

      options = [ "Langchain Python" , "Next.js" , "Vue.js" , "MDN_WEB" , "Pytorch" , "Chainlit" , "Your Framework Name" ],

   • 处理您的框架的选择：

      elif selected == "Your Framework Name" and assistant_your_framework :
         display_framework ( assistant_your_framework , "Your Framework Name" )

5. 重新启动应用程序：

   • 再次运行app.py ，以查看您的新框架。

请记住，用适合您的自定义框架的名称替换“ your_framework”和“您的框架名称”。

？贡献

我们欢迎捐款！请参阅我们的贡献指南以获取更多详细信息。

？执照

该项目是根据MIT许可证获得许可的 - 有关详细信息，请参见许可证文件。

致谢

• 简化直观的UI框架
• 所有使这一切成为可能的开源项目

---