bolna

Plataforma de agentes de voz de código aberto de ponta a ponta : construa rapidamente os assistentes de conversação por voz através de um JSON.

Discord | DOCs | Site

Introdução

Bolna é a estrutura pronta de produção de código aberto de ponta a ponta para criar rapidamente aplicativos de conversação baseados em voz baseados em LLM.

Demonstração

Demo-create-agente e make-calls.mp4

Componentes

Bolna ajuda você a criar agentes de voz de IA que podem ser instruídos a realizar tarefas começando com:

1. Iniciando um telefonema usando provedores de telefonia como Twilio , Plivo , Exotel , etc.
2. Transcrição das conversas usando Deepgram , etc.
3. Usando LLMs como OpenAI , Llama , Cohere , Mistral , etc. para lidar com conversas
4. SyntheSizing LLM Respostas de volta à telefonia usando AWS Polly , XTTS , ElevenLabs , Deepgram etc.
5. Instruindo o agente a executar tarefas como enviar e -mails, mensagens de texto, reserva de calendário após o término da conversa

Consulte os documentos para um profundo em todos os fornecedores suportados.

Exemplo de configuração local

Uma configuração local básica inclui o uso de Twilio ou Plivo para telefonia. Dockerizamos a configuração em local_setup/ . É necessário preencher um arquivo .env do .env.sample .

A configuração consiste em quatro contêineres:

1. Servidor da Web de telefonia:
   • Escolhendo o Twilio: para iniciar as chamadas, é necessário configurar uma conta do Twilio
   • Escolhendo o Plivo: para iniciar as chamadas necessárias para configurar uma conta Plivo
2. Servidor Bolna: para criar e manusear agentes
3. ngrok : Para tunelamento. É necessário adicionar o authtoken a ngrok-config.yml
4. redis : para agentes persistentes e dados rápidos

Use o Docker para construir as imagens usando o arquivo .env como arquivo de ambiente e execute -as localmente

1. docker-compose build --no-cache <twilio-app | plivo-app> : reconstruir imagens
2. docker-compose up <twilio-app | plivo-app> : execute as imagens de construção

Depois que os contêineres do Docker acordarem, agora você pode começar a criar seus agentes e instruí -los a iniciar chamadas.

Criando seu agente e invocando chamadas

Depois de ter a configuração e execução do Docker acima, você pode criar agentes e iniciar chamadas.

1. Use a carga útil abaixo para criar um agente via http://localhost:5001/agent

Carga útil do agente

 {
    " agent_config " : {
        " agent_name " : " Alfred " ,
        " agent_type " : " other " ,
        " agent_welcome_message " : " Welcome " ,
        " tasks " : [
            {
                " task_type " : " conversation " ,
                " toolchain " : {
                    " execution " : " parallel " ,
                    " pipelines " : [
                        [
                            " transcriber " ,
                            " llm " ,
                            " synthesizer "
                        ]
                    ]
                },
                " tools_config " : {
                    " input " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " llm_agent " : {
                        " agent_flow_type " : " streaming " ,
                        " provider " : " openai " ,
                        " request_json " : true,
                        " model " : " gpt-3.5-turbo-16k " ,
                        " use_fallback " : true
                    },
                    " output " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " synthesizer " : {
                        " audio_format " : " wav " ,
                        " provider " : " elevenlabs " ,
                        " stream " : true,
                        " provider_config " : {
                            " voice " : " Meera - high quality, emotive " ,
                            " model " : " eleven_turbo_v2_5 " ,
                            " voice_id " : " TTa58Hl9lmhnQEvhp1WM "
                        },
                        " buffer_size " : 100.0
                    },
                    " transcriber " : {
                        " encoding " : " linear16 " ,
                        " language " : " en " ,
                        " provider " : " deepgram " ,
                        " stream " : true
                    }
                },
                " task_config " : {
                    " hangup_after_silence " : 30.0
                }
            }
        ]
    },
    " agent_prompts " : {
        " task_1 " : {
            " system_prompt " : " Ask if they are coming for party tonight "
        }
    }
}

2. A resposta da API anterior retornará um UUID como agent_id . Use este agent_id para iniciar uma chamada através do servidor de telefonia em execução na porta 8001 (para Twilio) ou 8002 Port (para Plivo) em http://localhost:8001/call

Ligue para a carga útil

 {
    " agent_id " : " 4c19700b-227c-4c2d-8bgf-42dfe4b240fc " ,
    " recipient_phone_number " : " [phone] " ,
} 

Usando seus próprios fornecedores

Você pode preencher o arquivo .env para usar suas próprias chaves para fornecedores.

Provedores ASR

Estes são os atuais fornecedores de ASRS suportados:

Provedor	Variável de ambiente a ser adicionado no arquivo .env
Deepgram	DEEPGRAM_AUTH_TOKEN

Provedores de LLM

Bolna usa o pacote Litellm para suportar várias integrações LLM.

Estes são a família atual do provedor LLM suportado: https://github.com/bolna-ai/bolna/blob/477e08d6800dbf02931abeeea883d78451b7d7e2/bolna/providers.py#l29-l44

Para LLMs baseados em Litellm, adicione um dos seguintes seguintes ao arquivo .env , dependendo do seu caso de uso:

LITELLM_MODEL_API_KEY : chave da API do LLM
LITELLM_MODEL_API_BASE : URL do LLM hospedado
LITELLM_MODEL_API_VERSION : versão da API para LLMS como o Azure

Para o LLMS hospedado via VLLM, adicione o seguinte ao arquivo .env :
VLLM_SERVER_BASE_URL : URL do LLM hospedado usando VLLM

Provedores de TTS

Estes são os atuais fornecedores de TTS suportados: https://github.com/bolna-ai/bolna/blob/c8a0d1428793d4df29133119e354bc2f85a7ca76/bolna/providers.py#l714

Provedor	Variável de ambiente a ser adicionado no arquivo .env
AWS Polly	Acessado a partir de credenciais amplas do sistema via ~/.aws
Elevenlabs	ELEVENLABS_API_KEY
Openai	OPENAI_API_KEY
Deepgram	DEEPGRAM_AUTH_TOKEN

Provedores de telefonia

Estes são os atuais provedores de telefonia suportados:

Provedor	Variável de ambiente a ser adicionado no arquivo .env
Twilio	TWILIO_ACCOUNT_SID , TWILIO_AUTH_TOKEN , TWILIO_PHONE_NUMBER
Plivo	PLIVO_AUTH_ID , PLIVO_AUTH_TOKEN , PLIVO_PHONE_NUMBER

Estendendo -se com outros provedores de telefonia

Caso você queira estender e adicionar outra telefonia como Vonage, Telnyx, etc. Após as diretrizes abaixo:

1. Verifique se o streaming bidirecional é suportado pelo provedor de telefonia
2. Adicione o arquivo manipulador de entrada específico da telefonia em input_handlers/telefony_providers escrevendo funções personalizadas que se estendem da classe telefônica.py
   1. Este arquivo conterá principalmente como diferentes tipos de pacotes de eventos estão sendo ingeridos do provedor de telefonia
3. Adicione arquivo de manipulador de saída específico para telefonia em output_handlers/telefony_providers escrevendo funções personalizadas que se estendem da classe telefônica.py
   1. Isso diz respeito principalmente à conversão de áudio da classe Synthesizer em um formato de áudio suportado e transmitindo -o pelo WebSocket fornecido pelo provedor de telefonia
4. Por fim, você terá que escrever um servidor dedicado, como o exemplo, Twilio_API_SERVER.PY fornecido em Local_Setup para iniciar chamadas sobre o WebSockets.

V/s de código aberto V/S.

Embora o repositório seja completamente de código aberto, você pode se conectar conosco se estiver interessado em ofertas hospedadas gerenciadas ou em soluções mais personalizadas.

Contribuindo

Adoramos todos os tipos de contribuições: seja grande ou pequena ajuda para melhorar esse recurso da comunidade.

1. Existem várias questões abertas presentes que podem ser boas para começar
2. Se você tiver sugestões de aprimoramentos, deseja contribuir com uma correção simples, como corrigir um erro de digitação ou deseja abordar um bug aparente, sinta -se à vontade para iniciar um novo problema ou enviar uma solicitação de tração
3. Se você estiver contemplando uma mudança ou adição maior a este repositório, seja em termos de sua estrutura ou recursos, comece a criar um novo problema, abra um novo problema e descreva suas alterações propostas. Isso nos permitirá envolver uma discussão antes de dedicar uma quantidade significativa de tempo ou esforço. Sua cooperação e compreensão são apreciados