AIPE

Aipe: motor de tuberías de IA

Introducción

AIPE (AI Pipeline Engine) es una herramienta flexible y potente para crear y ejecutar flujos de trabajo de IA complejos. Le permite encadenar varias tareas de IA, como la búsqueda en la web, la generación de texto, el procesamiento del habla y la generación de imágenes en una tubería cohesiva, todas configurables a través de un archivo YAML simple.

Características

• ? Cadena las tareas de IA múltiples en un solo flujo de trabajo
• ? Integración de búsqueda web (API de Duckduckgo y Serper)
• ? Generación de texto utilizando varios modelos LLM (Ollama, Openai)
• Capacidades de texto a voz y habla a texto
• ? ️ Generación de imágenes usando difusión estable
• Integración de Webhook para llamadas de API externas
• ? Configuración basada en Yaml para una fácil configuración de tubería
• Enlace dinámico del contexto y salidas de paso

Casos de uso

AIPE (AI Pipeline Engine) es una herramienta versátil que se puede aplicar a varios dominios y tareas. Aquí hay algunos casos de uso potenciales:

1. Asistente de investigación automatizado : cree una tubería que busque en la web un tema específico, resume los hallazgos y genera un informe integral con citas.

2. Flujo de trabajo de creación de contenido : Diseñe una tubería que genera ideas de artículos, escribe un borrador de contenido, crea imágenes acompañantes y prepara publicaciones en las redes sociales para la promoción.

3. Análisis de sentimientos y monitoreo de la marca : Establezca una tubería que raspe las redes sociales y los sitios de noticias para las menciones de una marca, realice un análisis de sentimientos y genera informes diarios con información.

4. Atención al cliente automatizada : desarrolle una tubería que procese las consultas de los clientes, busque en una base de conocimiento para obtener información relevante y genera respuestas personalizadas.

5. Análisis y visualización de datos : cree una tubería que recopile datos de varias fuentes, realice un análisis estadístico, genera información y crea visualizaciones de datos.

6. Servicio de traducción del idioma : crea una tubería que toma texto en un idioma, lo traduce a múltiples idiomas de destino y genera pronunciaciones de audio para cada traducción.

7. Revisión del código automatizado : diseñe una tubería que analice repositorios de código, identifica posibles problemas o mejoras y genera informes detallados de revisión de código.

8. Análisis de tendencias del mercado : Establezca una tubería que monitoree las noticias financieras, analice los datos del mercado y genera informes predictivos sobre las posibles tendencias del mercado.

9. Generación de contenido educativo : cree una tubería que tome un área temática, genera contenido educativo, cuestionarios y materiales complementarios para cursos en línea.

10. Agregador de noticias personalizado : desarrolle una tubería que recopile noticias de varias fuentes basadas en preferencias de los usuarios, resume los artículos y genera una sesión informativa diaria personalizada.

Estos casos de uso demuestran la flexibilidad y la potencia de AIPE en la automatización de flujos de trabajo complejos en diferentes industrias y aplicaciones. La naturaleza modular de la tubería permite una fácil personalización y expansión para satisfacer necesidades específicas.

? Pasos de tubería

El motor de tuberías de AI Agent admite los siguientes pasos:

• WebSearch : busque en la web con DuckDuckgo o Serper API
• WebScrape : Raspe el contenido de las URL específicas
• RunInference : generar texto usando modelos LLM (Ollama, OpenAI)
• TextToSpeech : Convertir texto a discurso
• SpeechToText : transcribir el discurso al texto
• LoadImageModel : cargue un modelo de texto a imagen
• GenerateImage : Genere imágenes a partir de indicaciones de texto
• CallWebhook : hacer llamadas de API externa

Instalación

1. Clon el repositorio:

    git clone https://github.com/yourusername/AIPE.git
   cd AIPE
   

2. Instale las dependencias requeridas:

    pip install -r app/requirements.txt
   

3. Configurar variables de entorno para claves API (si es necesario):

    export OPENAI_API_KEY=your_openai_api_key
   export SERPER_API_KEY=your_serper_api_key
   

Uso

1. Cree un archivo de configuración YAML para su tubería. Ejemplo:

    pipeline :
    context :
        topic : " artificial intelligence with crypto "
        num_results : 5
        model_name : " llama2 "
   
    steps :
        - name : " web_search "
        type : " WebSearch "
        query : " latest developments in {context.topic} "
        search_type : " serper "
        num_results : " {context.num_results} "
   
        - name : " summarize_findings "
        type : " RunInference "
        source : " ollama "
        model_name : " llama2 "
        prompt : " Summarize the latest developments in {context.topic} based on the following information: {steps.web_search} "
   
        - name : " text_to_speech "
        type : " TextToSpeech "
        text : " {steps.summarize_findings} "
        result_path : " /app/output/summary_audio.wav "
   
        - name : " generate_image "
        type : " GenerateImage "
        prompt : " A futuristic representation of {context.topic} "
        result_path : " /app/output/ai_developments.png "
        image_params :
            num_inference_steps : 50
            guidance_scale : 7.5
   
        - name : " final_report "
        type : " RunInference "
        source : " ollama "
        model_name : " llama2 "
        prompt : " Create a final report on {context.topic} incorporating the following elements: n 1. Web search results: {steps.web_search} n 2. Summarized findings: {steps.summarize_findings} n 4. Generated image description: A futuristic representation of {context.topic} n 5. Transcription accuracy check: Compare the original summary with the transcribed text and comment on any discrepancies. "
        result_path : " /app/output/final_report.txt "

2. Ejecute la tubería:

    python app/main.py config/config.yaml
   

3. Verifique la salida: la tubería guardará sus salidas en la carpeta output . Esto incluye archivos generados como audio, imágenes e informes de texto como se especifica en su configuración.

? Soporte de Docker

El proyecto incluye Dockerfile para facilitar contenedorización. Para construir y ejecutar usando Docker:

 docker build -t AIPE .
docker run -it --gpus all --env-file .env AIPE

La tubería guardará sus salidas en la carpeta output dentro del contenedor Docker. Esto incluye archivos generados como audio, imágenes e informes de texto como se especifica en su configuración.

Despliegue de Spheron

Para implementar su proyecto AIPE en Spheron:

1. Actualice spheron.yaml en la raíz de su proyecto con los detalles de su imagen.

2. Instalar spheronctl CLI: Guía de instalación

3. Crear implementación:

   sphnctl deployment create spheron.yaml

4. Verifique el estado de implementación (reemplace <LID> con su ID de implementación):

   sphnctl deployment get --lid < LID >

5. Ver registros de implementación:

   sphnctl deployment logs --lid < LID >

6. Shell de implementación de acceso:

   sphnctl deployment shell aipet /bin/sh --lid < LID > --stdin --tty

Para más detalles, ver Spheron Docs.

? Que contribuye

¡Las contribuciones son bienvenidas! No dude en enviar una solicitud de extracción.

? Licencia

Este proyecto tiene licencia bajo la licencia MIT; consulte el archivo de licencia para obtener más detalles.

? Contacto

Si tiene alguna pregunta, no dude en comunicarse con Mitra.