AIPE

Aipe: Ai Pipeline Engine

Introdução

Aipe (AI Pipeline Engine) é uma ferramenta flexível e poderosa para criar e executar fluxos de trabalho complexos de IA. Ele permite que você junte várias tarefas de IA, como pesquisa na web, geração de texto, processamento de fala e geração de imagens em um pipeline coesivo, tudo configurável através de um arquivo YAML simples.

Características

• ? Cadeia múltipla de tarefas de IA em um único fluxo de trabalho
• ? Integração da pesquisa na web (DuckDuckgo e Serper API)
• ? Geração de texto usando vários modelos LLM (Ollama, Openai)
• Recursos de texto para fala e fala para texto
• ? ️ Geração de imagem usando difusão estável
• Integração Webhook para chamadas de API externas
• ? Configuração baseada em YAML para fácil configuração do pipeline
• Ligação dinâmica das saídas de contexto e etapa

Casos de uso

Aipe (AI Pipeline Engine) é uma ferramenta versátil que pode ser aplicada a vários domínios e tarefas. Aqui estão alguns casos de uso em potencial:

1. Assistente de pesquisa automatizada : Crie um pipeline que pesquise na Web como um tópico específico, resume as descobertas e gera um relatório abrangente com citações.

2. Fluxo de trabalho de criação de conteúdo : projete um pipeline que gera idéias de artigo, grava o rascunho de conteúdo, cria imagens que acompanham e prepara postagens de mídia social para promoção.

3. Análise de sentimentos e monitoramento da marca : Configure um pipeline que elimine mídias sociais e sites de notícias para menções a uma marca, realiza análises de sentimentos e gera relatórios diários com insights.

4. Suporte ao cliente automatizado : desenvolva um pipeline que processe consultas de clientes, pesquise uma base de conhecimento para obter informações relevantes e gera respostas personalizadas.

5. Análise e visualização de dados : Crie um pipeline que coleta dados de várias fontes, realiza análises estatísticas, gera insights e cria visualizações de dados.

6. Serviço de tradução de idiomas : Crie um pipeline que pegue o texto em um idioma, o traduz em vários idiomas de destino e gera pronúncias de áudio para cada tradução.

7. Revisão de código automatizado : Projete um pipeline que analisa repositórios de código, identifica possíveis problemas ou melhorias e gera relatórios detalhados de revisão de código.

8. Análise de tendências do mercado : Configure um pipeline que monitora notícias financeiras, analisa dados de mercado e gera relatórios preditivos sobre tendências potenciais do mercado.

9. Geração de conteúdo educacional : Crie um pipeline que pegue uma área de assunto, gera conteúdo educacional, testes e materiais suplementares para cursos on -line.

10. Agregador de notícias personalizado : desenvolva um pipeline que coleta notícias de várias fontes com base em preferências do usuário, resume os artigos e gera um briefing de notícias diárias personalizado.

Esses casos de uso demonstram a flexibilidade e o poder do AIPE na automação de fluxos de trabalho complexos em diferentes setores e aplicações. A natureza modular do pipeline permite fácil personalização e expansão para atender às necessidades específicas.

? Etapas de pipeline

O mecanismo de oleoduto do AI Agent suporta as seguintes etapas:

• WebSearch : pesquise a web usando a API DuckDuckgo ou Serper
• WebScrape : RUCAPE CONTEÚDO DE URLS ESPECIFICADOS
• RunInference : Gere texto usando modelos LLM (Ollama, OpenAi)
• TextToSpeech : converter texto em fala
• SpeechToText : transcreva a fala para o texto
• LoadImageModel : carregue um modelo de texto para imagem
• GenerateImage : Gere imagens a partir de avisos de texto
• CallWebhook : faça chamadas de API externas

Instalação

1. Clone o repositório:

    git clone https://github.com/yourusername/AIPE.git
   cd AIPE
   

2. Instale as dependências necessárias:

    pip install -r app/requirements.txt
   

3. Configure variáveis ​​de ambiente para chaves da API (se necessário):

    export OPENAI_API_KEY=your_openai_api_key
   export SERPER_API_KEY=your_serper_api_key
   

Uso

1. Crie um arquivo de configuração da YAML para o seu pipeline. Exemplo:

    pipeline :
    context :
        topic : " artificial intelligence with crypto "
        num_results : 5
        model_name : " llama2 "
   
    steps :
        - name : " web_search "
        type : " WebSearch "
        query : " latest developments in {context.topic} "
        search_type : " serper "
        num_results : " {context.num_results} "
   
        - name : " summarize_findings "
        type : " RunInference "
        source : " ollama "
        model_name : " llama2 "
        prompt : " Summarize the latest developments in {context.topic} based on the following information: {steps.web_search} "
   
        - name : " text_to_speech "
        type : " TextToSpeech "
        text : " {steps.summarize_findings} "
        result_path : " /app/output/summary_audio.wav "
   
        - name : " generate_image "
        type : " GenerateImage "
        prompt : " A futuristic representation of {context.topic} "
        result_path : " /app/output/ai_developments.png "
        image_params :
            num_inference_steps : 50
            guidance_scale : 7.5
   
        - name : " final_report "
        type : " RunInference "
        source : " ollama "
        model_name : " llama2 "
        prompt : " Create a final report on {context.topic} incorporating the following elements: n 1. Web search results: {steps.web_search} n 2. Summarized findings: {steps.summarize_findings} n 4. Generated image description: A futuristic representation of {context.topic} n 5. Transcription accuracy check: Compare the original summary with the transcribed text and comment on any discrepancies. "
        result_path : " /app/output/final_report.txt "

2. Execute o pipeline:

    python app/main.py config/config.yaml
   

3. Verifique a saída: o pipeline salvará suas saídas na pasta output . Isso inclui arquivos gerados, como áudio, imagens e relatórios de texto, conforme especificado em sua configuração.

? Suporte do Docker

O projeto inclui o Dockerfile para facilitar a contêiner. Para construir e executar usando o Docker:

 docker build -t AIPE .
docker run -it --gpus all --env-file .env AIPE

O pipeline salvará suas saídas na pasta output dentro do contêiner do docker. Isso inclui arquivos gerados, como áudio, imagens e relatórios de texto, conforme especificado em sua configuração.

Implantação de esferons

Para implantar seu projeto Aipe no Spheron:

1. Atualize spheron.yaml em seu projeto Root com os detalhes da sua imagem.

2. Instale spheronctl CLI: Guia de instalação

3. Crie implantação:

   sphnctl deployment create spheron.yaml

4. Verifique o status da implantação (substitua <LID> pelo seu ID de implantação):

   sphnctl deployment get --lid < LID >

5. Ver registros de implantação:

   sphnctl deployment logs --lid < LID >

6. Acesso de implantação do shell:

   sphnctl deployment shell aipet /bin/sh --lid < LID > --stdin --tty

Para mais detalhes, consulte Spheron Docs.

? Contribuindo

As contribuições são bem -vindas! Sinta -se à vontade para enviar uma solicitação de tração.

? Licença

Este projeto está licenciado sob a licença do MIT - consulte o arquivo de licença para obter detalhes.

? Contato

Se você tiver alguma dúvida, fique à vontade para chegar a Mitra.