Framework Docs AI

Docs -Framework Ai

O Framework Docs AI é uma poderosa solução SaaS que revoluciona o gerenciamento de documentação para várias estruturas. Ele raspa perfeitamente a documentação da estrutura, cria uma base de conhecimento abrangente e utiliza modelos avançados de linguagem para fornecer respostas precisas e baseadas em recuperação às consultas do usuário.

Características

• Documentação automática raspando : reunir sem esforço documentação de estruturas populares.
• Base de Conhecimento Inteligente : Armazene e organize dados raspados para recuperação eficiente.
• Respostas a IA : Aproveite os modelos de idiomas de última geração para obter respostas precisas.
• Suporte de estrutura personalizável : adicione suas próprias estruturas ou use as existentes.
• Interface amigável : construído com o streamlit para uma experiência suave do usuário.

Tecnologias usadas

• UI : simplit
• Banco de dados vetorial : Chroma DB
• Chamada de função : dados PHI
• Modelo de idioma : GPT-4O-Mini

Estruturas suportadas

1. Langchain
2. Next.js
3. Vue.js
4. Pytorch
5. ChainLit
6. MDN Web Docs

Começando

Pré -requisitos

• Python 3.7+
• pip

Instalação

1. Clone o repositório:

    git clone https://github.com/yourusername/framework-docs-ai.git
   cd framework-docs-ai
   

2. Instale as dependências necessárias:

    pip install -r requirements.txt
   

3. Configure sua chave de API do OpenAI:

   • Crie um arquivo .env no diretório raiz
   • Adicione sua chave de API do OpenAI:

      OPENAI_API_KEY=your_api_key_here
     

Uso

1. Execute o aplicativo:

    python app.py
   

2. Abra o navegador da web e navegue para o URL local fornecido (geralmente http://localhost:8501 ).

3. Comece a explorar a documentação da estrutura e a fazer perguntas!

? Adicionando estruturas personalizadas

Você pode adicionar suas próprias estruturas personalizadas aos documentos da estrutura. Siga estas etapas:

1. Rastreie os URLs (Crawler.py) :

   • O arquivo crawler.py usa uma classe DomainCrawler para rastejar sites e coletar URLs.
   • Os principais componentes para modificar:

      CONFIGS = [
         {
             "start_url" : "https://your-framework-docs-url.com" ,
             "docs_path" : "/" ,
             "avoid_keywords" : [ "blog" , "about" , "community" ]
         },
         # You can add multiple configurations for different sections of your documentation
     ]
     
     OUTPUT_PATH = "data/Crawled_url/"
     FILE_NAME = "YOUR_FRAMEWORK_crawled.json"

   • Personalize a lista CONFIGS :
     • start_url : o URL base da documentação da sua estrutura.
     • docs_path : o caminho específico onde a documentação é iniciada.
     • avoid_keywords : lista de palavras -chave a serem evitadas em URLs (por exemplo, postagens de blog, páginas da comunidade).
   • Atualize OUTPUT_PATH e FILE_NAME conforme necessário.
   • O rastreador tenta usar um sitemap.xml, se disponível, volta a rastejar do docs_path especificado.
   • Ele usa multi-threading para rastrear várias configurações simultaneamente.
   • Execute crawler.py para salvar os URLs rastejados no arquivo de saída especificado.

2. Raspe o conteúdo :

   • Use scrape.py para extrair conteúdo dos URLs rastejados.
   • Modifique os caminhos do arquivo em scrape.py para corresponder à sua nova estrutura:

      if __name__ == "__main__" :
         Scrape ( "data/Crawled_url/YOUR_FRAMEWORK_crawled.json" , "data/Scraped_data/YOUR_FRAMEWORK_scraped.json" )

   • Execute scrape.py para salvar o conteúdo raspado no diretório data/Scraped_data .

3. Converter em formato de documento Langchain :

   • Use save.py para converter o JSON raspado em um arquivo de picles compatível com o esquema de documentos de Langchain.
   • Atualize os caminhos do arquivo em save.py :

      if __name__ == "__main__" :
         convert_json_to_pkl ( 'data/Scraped_data/YOUR_FRAMEWORK_scraped.json' , 'data/Scraped_data/YOUR_FRAMEWORK_scraped.pkl' )

   • Execute save.py para criar o arquivo de picles.

4. Atualizar app.py :

   • Inicialize a base de conhecimento para sua nova estrutura:

      kb_manager_your_framework = initialize_kb ( "Your Framework Name" , "./Vector_DB/YOUR_FRAMEWORK" , "data/Scraped_data/YOUR_FRAMEWORK_scraped.pkl" )

   • Crie um assistente para sua estrutura:

      assistant_your_framework = create_assistant ( "Your Framework Name" , api_key , kb_manager_your_framework ) if kb_manager_your_framework else None

   • Adicione sua estrutura às opções da barra lateral:

      options = [ "Langchain Python" , "Next.js" , "Vue.js" , "MDN_WEB" , "Pytorch" , "Chainlit" , "Your Framework Name" ],

   • Lidar com a seleção da sua estrutura:

      elif selected == "Your Framework Name" and assistant_your_framework :
         display_framework ( assistant_your_framework , "Your Framework Name" )

5. Reinicie o aplicativo :

   • Execute app.py novamente para ver sua nova estrutura em ação.

Lembre -se de substituir "Your_framework" e "seu nome de estrutura" pelos nomes apropriados para sua estrutura personalizada.

? Contribuindo

Congratulamo -nos com contribuições! Consulte o nosso guia contribuinte para obter mais detalhes.

? Licença

Este projeto está licenciado sob a licença do MIT - consulte o arquivo de licença para obter detalhes.

Agradecimentos

• Simplitada para a estrutura intuitiva da interface do usuário
• Todos os projetos de código aberto que tornaram isso possível

---