bolna

Plataforma de agentes de voz de código abierto de extremo a extremo : construya rápidamente los asistentes de conversación de voz de voz a través de un JSON.

Discordia | Docios | Sitio web

Introducción

Bolna es el marco de producción de código abierto de extremo a extremo para construir rápidamente aplicaciones de conversación de voz basadas en la voz basadas en LLM.

Manifestación

demo-create-agent-y make-calls.mp4

Componentes

Bolna te ayuda a crear agentes de voz de IA que pueden recibir instrucciones de hacer tareas que comienzan con:

1. Iniciar una llamada telefónica utilizando proveedores de telefonía como Twilio , Plivo , Exotel , etc.
2. Transcribiendo las conversaciones usando Deepgram , etc.
3. Uso de LLM como OpenAI , Llama , Cohere , Mistral , etc. para manejar las conversaciones
4. Sintetizar las respuestas de LLM a la telefonía usando AWS Polly , XTTS , ElevenLabs , Deepgram , etc.
5. Instruir al agente que realice tareas como enviar correos electrónicos, mensajes de texto, reservar calendario después de que la conversación haya finalizado

Consulte los documentos para obtener un profundo a todos los proveedores respaldados.

Configuración de ejemplo local

Una configuración local básica incluye el uso de Twilio o Plivo para telefonía. Hemos cuadrado la configuración en local_setup/ . Uno necesitará completar un archivo .env archivo de .env.sample .

La configuración consta de cuatro contenedores:

1. Servidor web de telefonía:
   • Elegir Twilio: para iniciar las llamadas, uno necesitará configurar una cuenta de Twilio
   • Elegir Plivo: para iniciar las llamadas, uno necesitará configurar una cuenta de Plivo
2. Servidor Bolna: para crear y manejar agentes
3. ngrok : para túneles. Uno necesitará agregar el authtoken a ngrok-config.yml
4. redis : para agentes persistentes y datos rápidos

Use Docker para construir las imágenes usando el archivo .env como archivo de entorno y ejecutarlas localmente

1. docker-compose build --no-cache <twilio-app | plivo-app> : Rebuild Images
2. docker-compose up <twilio-app | plivo-app> : ejecute las imágenes de compilación

Una vez que los contenedores Docker están activos, ahora puede comenzar a crear sus agentes e instruirlos para iniciar llamadas.

Crear su agente e invocar llamadas

Una vez que tenga la configuración y ejecución de Docker anterior, puede crear agentes e iniciar llamadas.

1. Use la carga útil a continuación para crear un agente a través de http://localhost:5001/agent

Carga útil del agente

 {
    " agent_config " : {
        " agent_name " : " Alfred " ,
        " agent_type " : " other " ,
        " agent_welcome_message " : " Welcome " ,
        " tasks " : [
            {
                " task_type " : " conversation " ,
                " toolchain " : {
                    " execution " : " parallel " ,
                    " pipelines " : [
                        [
                            " transcriber " ,
                            " llm " ,
                            " synthesizer "
                        ]
                    ]
                },
                " tools_config " : {
                    " input " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " llm_agent " : {
                        " agent_flow_type " : " streaming " ,
                        " provider " : " openai " ,
                        " request_json " : true,
                        " model " : " gpt-3.5-turbo-16k " ,
                        " use_fallback " : true
                    },
                    " output " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " synthesizer " : {
                        " audio_format " : " wav " ,
                        " provider " : " elevenlabs " ,
                        " stream " : true,
                        " provider_config " : {
                            " voice " : " Meera - high quality, emotive " ,
                            " model " : " eleven_turbo_v2_5 " ,
                            " voice_id " : " TTa58Hl9lmhnQEvhp1WM "
                        },
                        " buffer_size " : 100.0
                    },
                    " transcriber " : {
                        " encoding " : " linear16 " ,
                        " language " : " en " ,
                        " provider " : " deepgram " ,
                        " stream " : true
                    }
                },
                " task_config " : {
                    " hangup_after_silence " : 30.0
                }
            }
        ]
    },
    " agent_prompts " : {
        " task_1 " : {
            " system_prompt " : " Ask if they are coming for party tonight "
        }
    }
}

2. La respuesta de la API anterior devolverá un UUID como agent_id . Use este agent_id para iniciar una llamada a través del servidor de telefonía que se ejecuta en el puerto 8001 (para twilio) o el puerto 8002 (para plivo) en http://localhost:8001/call

Llamada de carga útil

 {
    " agent_id " : " 4c19700b-227c-4c2d-8bgf-42dfe4b240fc " ,
    " recipient_phone_number " : " [phone] " ,
} 

Usando a sus propios proveedores

Puede completar el archivo .env para usar sus propias claves para proveedores.

Proveedores ASR

Estos son los proveedores ASRS compatibles actuales:

Proveedor	Variable de entorno que se agregará en el archivo .env
Engaño	DEEPGRAM_AUTH_TOKEN

Proveedores de LLM

Bolna utiliza el paquete Litellm para admitir múltiples integraciones de LLM.

Estos son la familia de proveedores LLM compatible actual: https://github.com/bolna-ai/bolna/blob/477e08d6800dbf02931abeeea883d78451b7d7e2/bolna/providers.py#l29-l44

Para LLM basados ​​en Litellm, agregue cualquiera de los siguientes al archivo .env dependiendo de su caso de uso:

LITELLM_MODEL_API_KEY : clave API del LLM
LITELLM_MODEL_API_BASE : URL de la LLM alojada
LITELLM_MODEL_API_VERSION : versión API para LLM como Azure

Para LLMS alojados a través de VLLM, agregue lo siguiente al archivo .env :
VLLM_SERVER_BASE_URL : URL de la LLM alojada usando VLLM

Proveedores de TTS

Estos son los proveedores de TTS compatibles actuales: https://github.com/bolna-ai/bolna/blob/c8a0d1428793d4df2913119e354bc2f85aa7ca76/bolna/providers.py#l7-l14

Proveedor	Variable de entorno que se agregará en el archivo .env
AWS Polly	Accedido desde credenciales de todo el sistema a través de ~/.AWS
Once	ELEVENLABS_API_KEY
Opadai	OPENAI_API_KEY
Engaño	DEEPGRAM_AUTH_TOKEN

Proveedores de telefonía

Estos son los proveedores de telefonía compatibles actuales:

Proveedor	Variable de entorno que se agregará en el archivo .env
Twilio	TWILIO_ACCOUNT_SID , TWILIO_AUTH_TOKEN , TWILIO_PHONE_NUMBER
Plivo	PLIVO_AUTH_ID , PLIVO_AUTH_TOKEN , PLIVO_PHONE_NUMBER

Extender con otros proveedores de telefonía

En caso de que desee extender y agregar alguna otra telefonía como Vonage, Telnyx, etc. Siguiendo las pautas a continuación:

1. Asegúrese de que el proveedor de telefonía respalde la transmisión bidireccional
2. Agregue el archivo del controlador de entrada específico de telefonía en input_handlers/telequony_providers escribiendo funciones personalizadas que se extienden desde la clase Telephony.py
   1. Este archivo contendrá principalmente cómo se ingieren diferentes tipos de paquetes de eventos del proveedor de telefonía
3. Agregue el archivo del controlador de salida específico de telefonía en Output_handlers/Telephony_Providers escribiendo funciones personalizadas que se extienden desde la clase Telephony.py
   1. Esto se refiere principalmente a convertir el audio de la clase de sintetizador a un formato de audio compatible y transmitirlo sobre el proveedor de telefonía proporcionado
4. Por último, tendrá que escribir un servidor dedicado como el ejemplo twilio_api_server.py proporcionado en local_setup para iniciar llamadas a través de WebSockets.

De código abierto V/s pagado

Aunque el repositorio es completamente abierto, puede conectarse con nosotros si está interesado en ofertas alojadas administradas o soluciones más personalizadas.

Que contribuye

Nos encanta todo tipo de contribuciones: ya sea grande o pequeño, ayudando a mejorar este recurso comunitario.

1. Hay una serie de problemas abiertos presentes que pueden ser buenos para comenzar con
2. Si tiene sugerencias para mejoras, desea contribuir con una solución simple, como corregir un error tipográfico, o desea abordar un error aparente, no dude en iniciar un nuevo problema o enviar una solicitud de extracción
3. Si está contemplando un cambio o adición más amplio a este repositorio, ya sea en términos de su estructura o las características, comience amablemente creando un nuevo problema, abra un nuevo problema y describe sus cambios propuestos. Esto nos permitirá participar en una discusión antes de dedicar una cantidad significativa de tiempo o esfuerzo. Su cooperación y comprensión son apreciadas