bolna

Platform Agen Suara Open-Sumber End-to-End : Dengan cepat membangun Voice Firsts Conversational Assistants melalui JSON.

Perselisihan | Docs | Situs web

Perkenalan

Bolna adalah kerangka siap produksi open source end-to-end untuk dengan cepat membangun aplikasi percakapan yang digerakkan oleh suara LLM.

Demo

demo-create-agent-and-make-calls.mp4

Komponen

Bolna membantu Anda membuat agen suara AI yang dapat diinstruksikan untuk melakukan tugas yang dimulai dengan:

1. Memulai panggilan telepon menggunakan penyedia telepon seperti Twilio , Plivo , Exotel , dll.
2. Menyalin percakapan menggunakan Deepgram , dll.
3. Menggunakan llms seperti OpenAI , Llama , Cohere , Mistral , dll untuk menangani percakapan
4. Mensintesis respons LLM kembali ke telepon menggunakan AWS Polly , XTTS , ElevenLabs , Deepgram dll.
5. Menginstruksikan agen untuk melakukan tugas seperti mengirim email, pesan teks, pemesanan kalender setelah percakapan berakhir

Lihat dokumen untuk Deepdive ke semua penyedia yang didukung.

Pengaturan contoh lokal

Pengaturan dasar lokal termasuk penggunaan Twilio atau Plivo untuk telepon. Kami telah berlabuh setup di local_setup/ . Seseorang perlu mengisi file .env lingkungan dari .env.sample .

Pengaturan terdiri dari empat kontainer:

1. Telephony Web Server:
   • Memilih Twilio: Untuk memulai panggilan, seseorang perlu mengatur akun Twilio
   • Memilih Plivo: Untuk memulai panggilan, seseorang perlu mengatur akun Plivo
2. Bolna Server: untuk membuat dan menangani agen
3. ngrok : Untuk tunneling. Seseorang perlu menambahkan authtoken ke ngrok-config.yml
4. redis : untuk agen yang bertahan & data prompt

Gunakan Docker untuk membangun gambar menggunakan file .env sebagai file lingkungan dan menjalankannya secara lokal

1. docker-compose build --no-cache <twilio-app | plivo-app> : membangun kembali gambar
2. docker-compose up <twilio-app | plivo-app> : Jalankan gambar build

Setelah wadah Docker naik, Anda sekarang dapat mulai membuat agen Anda dan menginstruksikan mereka untuk memulai panggilan.

Membuat agen Anda dan memanggil panggilan

Setelah Anda memiliki pengaturan dan berjalan Docker di atas, Anda dapat membuat agen dan memulai panggilan.

1. Gunakan muatan di bawah ini untuk membuat agen melalui http://localhost:5001/agent

Muatan agen

 {
    " agent_config " : {
        " agent_name " : " Alfred " ,
        " agent_type " : " other " ,
        " agent_welcome_message " : " Welcome " ,
        " tasks " : [
            {
                " task_type " : " conversation " ,
                " toolchain " : {
                    " execution " : " parallel " ,
                    " pipelines " : [
                        [
                            " transcriber " ,
                            " llm " ,
                            " synthesizer "
                        ]
                    ]
                },
                " tools_config " : {
                    " input " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " llm_agent " : {
                        " agent_flow_type " : " streaming " ,
                        " provider " : " openai " ,
                        " request_json " : true,
                        " model " : " gpt-3.5-turbo-16k " ,
                        " use_fallback " : true
                    },
                    " output " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " synthesizer " : {
                        " audio_format " : " wav " ,
                        " provider " : " elevenlabs " ,
                        " stream " : true,
                        " provider_config " : {
                            " voice " : " Meera - high quality, emotive " ,
                            " model " : " eleven_turbo_v2_5 " ,
                            " voice_id " : " TTa58Hl9lmhnQEvhp1WM "
                        },
                        " buffer_size " : 100.0
                    },
                    " transcriber " : {
                        " encoding " : " linear16 " ,
                        " language " : " en " ,
                        " provider " : " deepgram " ,
                        " stream " : true
                    }
                },
                " task_config " : {
                    " hangup_after_silence " : 30.0
                }
            }
        ]
    },
    " agent_prompts " : {
        " task_1 " : {
            " system_prompt " : " Ask if they are coming for party tonight "
        }
    }
}

2. Respons API sebelumnya akan mengembalikan UUID sebagai agent_id . Gunakan agent_id ini untuk memulai panggilan melalui server telepon yang berjalan di port 8001 (untuk twilio) atau port 8002 (untuk Plivo) di http://localhost:8001/call

Hubungi muatan

 {
    " agent_id " : " 4c19700b-227c-4c2d-8bgf-42dfe4b240fc " ,
    " recipient_phone_number " : " [phone] " ,
} 

Menggunakan penyedia Anda sendiri

Anda dapat mengisi file .env untuk menggunakan kunci Anda sendiri untuk penyedia.

Penyedia ASR

Ini adalah penyedia ASRS yang didukung saat ini:

Penyedia	Variabel lingkungan yang akan ditambahkan dalam file .env
Deepgram	DEEPGRAM_AUTH_TOKEN

Penyedia LLM

Bolna menggunakan paket Litellm untuk mendukung beberapa integrasi LLM.

Ini adalah keluarga penyedia LLM yang didukung saat ini: https://github.com/bolna-ai/bolna/blob/477e08d6800dbf02931abeeea883d78451b7d7e2/bolna/providers.py#l29-l44

Untuk LLM berbasis Litellm, tambahkan salah satu dari yang berikut ke file .env tergantung pada kasus penggunaan Anda:

LITELLM_MODEL_API_KEY : kunci API dari llm
LITELLM_MODEL_API_BASE : URL dari llm yang dihosting
LITELLM_MODEL_API_VERSION : Versi API untuk llms seperti azure

Untuk LLMS yang di -host melalui VLLM, tambahkan yang berikut ini ke file .env :
VLLM_SERVER_BASE_URL : URL dari LLM yang dihosting menggunakan VLLM

Penyedia TTS

Ini adalah penyedia TTS yang didukung saat ini: https://github.com/bolna-ai/bolna/blob/c8a0d1428793d4df291331119e354bc2f85a7ca76/bolna/providers.py#l7-l144

Penyedia	Variabel lingkungan yang akan ditambahkan dalam file .env
AWS Polly	Diakses dari sistem kredensial luas melalui ~/.aws
Elevenlabs	ELEVENLABS_API_KEY
Openai	OPENAI_API_KEY
Deepgram	DEEPGRAM_AUTH_TOKEN

Penyedia telepon

Ini adalah penyedia telepon yang didukung saat ini:

Penyedia	Variabel lingkungan yang akan ditambahkan dalam file .env
Twilio	TWILIO_ACCOUNT_SID , TWILIO_AUTH_TOKEN , TWILIO_PHONE_NUMBER
PLIVO	PLIVO_AUTH_ID , PLIVO_AUTH_TOKEN , PLIVO_PHONE_NUMBER

Memperpanjang dengan penyedia telepon lainnya

Jika Anda ingin memperpanjang dan menambahkan beberapa telepon lain seperti Vonage, Telnyx, dll. Mengikuti pedoman di bawah ini:

1. Pastikan streaming dua arah didukung oleh penyedia telepon
2. Tambahkan file handler input spesifik telepon di input_handlers/telephony_providers menulis fungsi khusus yang memanjang dari kelas televony.py
   1. File ini terutama akan berisi bagaimana berbagai jenis paket acara dicerna dari penyedia telepon
3. Tambahkan file penangan output khusus telepon di output_handlers/telephony_providers menulis fungsi khusus yang memanjang dari kelas televony.py
   1. Ini terutama menyangkut konversi audio dari kelas synthesizer ke format audio yang didukung dan mengalirkannya di atas websocket yang disediakan oleh penyedia telepon
4. Terakhir, Anda harus menulis server khusus seperti contoh twilio_api_server.py yang disediakan di local_setup untuk memulai panggilan melalui websockets.

Sumber open-source dibayar

Meskipun repositori benar -benar open source, Anda dapat terhubung dengan kami jika tertarik dengan penawaran yang di -host yang dikelola atau lebih banyak solusi khusus.

Berkontribusi

Kami menyukai semua jenis kontribusi: apakah besar atau kecil membantu dalam meningkatkan sumber daya komunitas ini.

1. Ada sejumlah masalah terbuka yang ada yang bisa menjadi yang baik untuk memulai
2. Jika Anda memiliki saran untuk peningkatan, ingin menyumbangkan perbaikan sederhana seperti mengoreksi kesalahan ketik, atau ingin mengatasi bug yang jelas, jangan ragu untuk memulai masalah baru atau mengirimkan permintaan tarik
3. Jika Anda merenungkan perubahan atau penambahan yang lebih besar untuk repositori ini, baik itu dalam hal struktur atau fitur -fiturnya, mulailah dengan membuat masalah baru membuka masalah baru dan menguraikan perubahan yang Anda usulkan. Ini akan memungkinkan kami untuk terlibat dalam diskusi sebelum Anda mendedikasikan sejumlah besar waktu atau upaya. Kerja sama dan pengertian Anda dihargai