aisearch openai rag audio
1.0.0
Repo ini berisi contoh cara menerapkan dukungan kain dalam aplikasi yang menggunakan suara sebagai antarmuka pengguna mereka, ditenagai oleh API realtime GPT-4O untuk audio. Kami menggambarkan polanya secara lebih detail dalam posting blog ini, dan Anda dapat melihat aplikasi sampel ini beraksi dalam video pendek ini.
RTClient di frontend menerima input audio, mengirimkannya ke backend Python yang menggunakan objek RTMiddleTier untuk berinteraksi dengan AZure OpenAi Real-Time API, dan termasuk alat untuk mencari pencarian AIure AI.
Repositori ini mencakup infrastruktur sebagai kode dan Dockerfile untuk menggunakan aplikasi ke aplikasi wadah Azure, tetapi juga dapat dijalankan secara lokal selama pencarian AIure AI dan layanan Azure OpenAI dikonfigurasikan.
Anda memiliki beberapa opsi untuk memulai dengan template ini. Cara tercepat untuk memulai adalah codespace github, karena akan mengatur semua alat untuk Anda, tetapi Anda juga dapat mengaturnya secara lokal. Anda juga dapat menggunakan wadah VS Code Dev
Anda dapat menjalankan repo ini secara virtual dengan menggunakan github codespaces, yang akan membuka kode vs berbasis web di browser Anda:
Setelah codespace terbuka (ini mungkin memakan waktu beberapa menit), buka terminal baru dan lanjutkan untuk menggunakan aplikasi.
Anda dapat menjalankan proyek di wadah dev kode vs Anda menggunakan ekstensi wadah dev:
Mulai Docker Desktop (instal jika belum diinstal)
Buka proyek:
Di jendela VS Code yang terbuka, setelah file proyek muncul (ini mungkin memakan waktu beberapa menit), buka terminal baru, dan lanjutkan untuk menggunakan aplikasi.
Instal alat yang diperlukan:
python --version dari konsol. Di Ubuntu, Anda mungkin perlu menjalankan sudo apt install python-is-python3 untuk menautkan python ke python3 . Clone the Repo ( git clone https://github.com/Azure-Samples/aisearch-openai-rag-audio )
Lanjutkan ke bagian berikutnya untuk menggunakan aplikasi.
Langkah -langkah di bawah ini akan menyediakan sumber daya Azure dan menggunakan kode aplikasi ke aplikasi wadah Azure.
Masuk ke akun Azure Anda:
azd auth loginUntuk pengguna Codespaces GitHub, jika perintah sebelumnya gagal, coba:
azd auth login --use-device-codeBuat lingkungan AZD baru:
azd env new Masukkan nama yang akan digunakan untuk grup sumber daya. Ini akan membuat folder baru di folder .azure , dan mengaturnya sebagai lingkungan aktif untuk setiap panggilan ke azd ke depan.
(Opsional) Ini adalah titik di mana Anda dapat menyesuaikan penyebaran dengan mengatur variabel lingkungan AZD, untuk menggunakan layanan yang ada atau menyesuaikan pilihan suara.
Jalankan perintah tunggal ini untuk menyediakan sumber daya, menggunakan kode, dan mengatur vektorisasi terintegrasi untuk data sampel:
azd upazd down atau menghapus sumber daya secara manual untuk menghindari pengeluaran yang tidak perlu.Setelah aplikasi berhasil digunakan, Anda akan melihat URL dicetak ke konsol. Arahkan ke URL itu untuk berinteraksi dengan aplikasi di browser Anda. Untuk mencoba aplikasi, klik tombol "Mulai Percakapan", katakan "Halo", dan kemudian ajukan pertanyaan tentang data Anda seperti "Apa kebijakan whistleblower untuk elektronik contoso?" Anda juga dapat menjalankan aplikasi secara lokal dengan mengikuti instruksi di bagian selanjutnya.
Anda dapat menjalankan aplikasi ini secara lokal menggunakan layanan Azure yang Anda sediakan dengan mengikuti instruksi penyebaran, atau dengan mengarahkan aplikasi lokal di layanan yang sudah ada.
Jika Anda digunakan dengan azd up , Anda akan melihat file app/backend/.env dengan variabel lingkungan yang diperlukan.
Jika tidak menggunakan azd up , Anda harus membuat file app/backend/.env dengan variabel lingkungan berikut:
AZURE_OPENAI_ENDPOINT=wss:// < your instance name > .openai.azure.com
AZURE_OPENAI_REALTIME_DEPLOYMENT=gpt-4o-realtime-preview
AZURE_OPENAI_REALTIME_VOICE_CHOICE= < choose one: echo, alloy, shimmer >
AZURE_OPENAI_API_KEY= < your api key >
AZURE_SEARCH_ENDPOINT=https:// < your service name > .search.windows.net
AZURE_SEARCH_INDEX= < your index name >
AZURE_SEARCH_API_KEY= < your api key >Untuk menggunakan ID entra (pengguna Anda saat berjalan secara lokal, identitas yang dikelola saat digunakan) jangan atur kunci.
Jalankan perintah ini untuk memulai aplikasi:
Windows:
pwsh .scriptsstart.ps1Linux/Mac:
./scripts/start.shAplikasi ini tersedia di http: // localhost: 8765.
Setelah aplikasi berjalan, saat Anda menavigasi ke URL di atas, Anda akan melihat layar mulai dari aplikasi: 
Untuk mencoba aplikasi, klik tombol "Mulai Percakapan", katakan "Halo", dan kemudian ajukan pertanyaan tentang data Anda seperti "Apa kebijakan whistleblower untuk elektronik contoso?"
Harga bervariasi per wilayah dan penggunaan, jadi tidak mungkin untuk memprediksi biaya yang tepat untuk penggunaan Anda. Namun, Anda dapat mencoba kalkulator harga Azure untuk sumber daya di bawah ini.
Untuk mengurangi biaya, Anda dapat beralih ke SKU gratis untuk berbagai layanan, tetapi SKU tersebut memiliki keterbatasan.
azd down .
Template ini menggunakan identitas yang dikelola untuk menghilangkan kebutuhan pengembang untuk mengelola kredensial ini. Aplikasi dapat menggunakan identitas yang dikelola untuk mendapatkan token Microsoft Entra tanpa harus mengelola kredensial apa pun. Untuk memastikan praktik terbaik dalam repo Anda, kami merekomendasikan siapa pun yang membuat solusi berdasarkan templat kami memastikan bahwa pengaturan pemindaian rahasia Github diaktifkan dalam repo Anda.
Data sampel: Dokumen PDF yang digunakan dalam demo ini berisi informasi yang dihasilkan menggunakan model bahasa (Azure Openai Service). Informasi yang terkandung dalam dokumen -dokumen ini hanya untuk tujuan demonstrasi dan tidak mencerminkan pendapat atau keyakinan Microsoft. Microsoft tidak membuat representasi atau jaminan dalam bentuk apa pun, tersurat maupun tersirat, tentang kelengkapan, akurasi, keandalan, kesesuaian atau ketersediaan sehubungan dengan informasi yang terkandung dalam dokumen ini. Semua hak dilindungi undang -undang untuk Microsoft.
