الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

Voicerag: نمط تطبيق لـ RAG + Voice باستخدام Azure AI Search و GPT-4O API في الوقت الفعلي للصوت

يحتوي هذا الريبو على مثال على كيفية تنفيذ دعم RAG في التطبيقات التي تستخدم Voice كواجهة مستخدمها ، مدعومة من قبل واجهة برمجة تطبيقات GPT-4O في الوقت الفعلي للصوت. وصفنا النمط بمزيد من التفصيل في منشور المدونة هذا ، ويمكنك رؤية هذا التطبيق نموذج في هذا الفيديو القصير.

  • سمات
  • مخطط العمارة
  • ابدء
    • Github CodeSpaces
    • VS Code Dev Containers
    • البيئة المحلية
  • نشر التطبيق
  • خادم التطوير

سمات

  • الواجهة الصوتية : يستخدم التطبيق ميكروفون المتصفح لالتقاط إدخال الصوت ، ويرسله إلى الواجهة الخلفية حيث تتم معالجته بواسطة Azure Openai GPT-4O API.
  • RAG (الجيل المعزز للاسترجاع) : يستخدم التطبيق خدمة بحث Azure AI للإجابة على أسئلة حول قاعدة المعرفة ، ويرسل المستندات التي تم استردادها إلى واجهة برمجة تطبيقات الوقت الحقيقي GPT-4O لإنشاء استجابة.
  • إخراج الصوت : يلعب التطبيق الاستجابة من واجهة برمجة تطبيقات GPT-4O REALTIME كصوت ، باستخدام إمكانيات الصوت للمتصفح.
  • الاستشهادات : يوضح التطبيق نتائج البحث التي تم استخدامها لإنشاء الاستجابة.

مخطط العمارة

يتلقى RTClient في الواجهة الأمامية إدخال الصوت ، ويرسل ذلك إلى الواجهة الخلفية Python التي تستخدم كائن RTMiddleTier للتفاعل مع Azure Openai API في الوقت الفعلي ، ويتضمن أداة للبحث عن Azure AI Search.

رسم تخطيطي لنمط خرقة في الوقت الفعلي

يتضمن هذا المستودع البنية التحتية كرمز و Dockerfile لنشر التطبيق على تطبيقات حاوية Azure ، ولكن يمكن أيضًا تشغيله محليًا طالما تم تكوين Azure AI Search و Azure Openai.

ابدء

لديك بعض الخيارات للبدء في هذا القالب. أسرع طريقة للبدء هي مساحات رموز GitHub ، حيث ستقوم بإعداد جميع الأدوات لك ، ولكن يمكنك أيضًا إعدادها محليًا. يمكنك أيضًا استخدام حاوية VS Code Dev

Github CodeSpaces

يمكنك تشغيل هذا الريبو فعليًا باستخدام مساحات Github ، والتي ستفتح رمز VS المستند إلى الويب في متصفحك:

بمجرد افتتاح CodeSpace (قد يستغرق ذلك عدة دقائق) ، افتح محطة جديدة وانتقل إلى نشر التطبيق.

VS Code Dev Containers

يمكنك تشغيل المشروع في حاوية Dev Code المحلية VS باستخدام امتداد حاويات Dev:

  1. ابدأ سطح Docker Desktop (قم بتثبيته إذا لم يتم تثبيته بالفعل)

  2. افتح المشروع:

  3. في نافذة VS Code التي تفتح ، بمجرد ظهور ملفات المشروع (قد يستغرق ذلك عدة دقائق) ، فتح محطة جديدة ، وتابع نشر التطبيق.

البيئة المحلية

  1. تثبيت الأدوات المطلوبة:

    • Azure Developer CLI
    • node.js
    • بيثون> = 3.11
      • هام : يجب أن يكون Python و PIP Package Manager في المسار في Windows حتى تعمل البرامج النصية.
      • مهم : تأكد من أنه يمكنك تشغيل python --version وحدة التحكم. على Ubuntu ، قد تحتاج إلى تشغيل sudo apt install python-is-python3 لربط python إلى python3 .
    • غيت
    • PowerShell - لمستخدمي Windows فقط.

  2. استنساخ repo ( git clone https://github.com/Azure-Samples/aisearch-openai-rag-audio )

  3. انتقل إلى القسم التالي لنشر التطبيق.

نشر التطبيق

ستقوم الخطوات أدناه بتوفير موارد Azure ونشر رمز التطبيق على تطبيقات حاوية Azure.

  1. تسجيل الدخول إلى حساب Azure الخاص بك: 

    azd auth login

    لمستخدمي GitHub CodeSpaces ، إذا فشل الأمر السابق ، فحاول: 

     azd auth login --use-device-code

  2. إنشاء بيئة AZD جديدة: 

    azd env new

    أدخل اسمًا سيتم استخدامه لمجموعة الموارد. سيؤدي ذلك إلى إنشاء مجلد جديد في مجلد .azure ، ويضعه كبيئة نشطة لأي مكالمات إلى azd للمضي قدمًا.

  3. (اختياري) هذه هي النقطة التي يمكنك من خلالها تخصيص النشر عن طريق تعيين متغيرات البيئة AZD ، من أجل استخدام الخدمات الحالية أو تخصيص اختيار الصوت.

  4. قم بتشغيل هذا الأمر الفردي لتوفير الموارد ، ونشر الرمز ، وإعداد التقييم المتكامل لبيانات العينة: 

    azd up
    • هام : احذر من أن الموارد التي أنشأها هذا الأمر ستتحمل تكاليف فورية ، وخاصة من مورد البحث من الذكاء الاصطناعي. قد تتراكم هذه الموارد التكاليف حتى إذا قاطعت الأمر قبل تنفيذها بالكامل. يمكنك تشغيل azd down أو حذف الموارد يدويًا لتجنب الإنفاق غير الضروري.
    • سيُطلب منك تحديد موقعين ، أحدهما لأغلبية الموارد والآخر لمورد Openai ، والذي يعد حاليًا قائمة قصيرة. تعتمد قائمة الموقع هذه على جدول توافر طراز Openai وقد تصبح قديمة مع تغييرات التوفر.

  5. بعد نشر الطلب بنجاح ، سترى عنوان URL مطبوعًا على وحدة التحكم. انتقل إلى عنوان URL هذا للتفاعل مع التطبيق في متصفحك. لتجربة التطبيق ، انقر فوق "زر بدء المحادثة" ، وقل "Hello" ، ثم اطرح سؤالًا حول بياناتك مثل "ما هي سياسة المبلغين عن المخالفات لإلكترونيات Contoso؟" يمكنك أيضًا تشغيل التطبيق محليًا باتباع الإرشادات الواردة في القسم التالي.

خادم التطوير

يمكنك تشغيل هذا التطبيق محليًا باستخدام خدمات Azure التي قمت بتوفيرها باتباع تعليمات النشر ، أو عن طريق توجيه التطبيق المحلي إلى الخدمات الموجودة بالفعل.

  1. إذا قمت بنشرها مع azd up ، فيجب أن ترى ملف app/backend/.env مع متغيرات البيئة اللازمة.

  2. إذا لم تستخدم azd up ، فستحتاج إلى إنشاء ملف app/backend/.env مع متغيرات البيئة التالية: 

    AZURE_OPENAI_ENDPOINT=wss:// < your instance name > .openai.azure.com
AZURE_OPENAI_REALTIME_DEPLOYMENT=gpt-4o-realtime-preview
AZURE_OPENAI_REALTIME_VOICE_CHOICE= < choose one: echo, alloy, shimmer >
AZURE_OPENAI_API_KEY= < your api key >
AZURE_SEARCH_ENDPOINT=https:// < your service name > .search.windows.net
AZURE_SEARCH_INDEX= < your index name >
AZURE_SEARCH_API_KEY= < your api key >

    لاستخدام entra id (المستخدم عند التشغيل محليًا ، لا تُعد الهوية المدارة عند نشرها) ببساطة لا تضع المفاتيح.

  3. قم بتشغيل هذا الأمر لبدء التطبيق:

    Windows: 

    pwsh .scriptsstart.ps1

    Linux/Mac: 

    ./scripts/start.sh

  4. التطبيق متاح على http: // localhost: 8765.

    بمجرد تشغيل التطبيق ، عند الانتقال إلى عنوان URL أعلاه ، يجب أن ترى شاشة البدء في التطبيق: لقطة شاشة التطبيق

    لتجربة التطبيق ، انقر فوق "زر بدء المحادثة" ، وقل "Hello" ، ثم اطرح سؤالًا حول بياناتك مثل "ما هي سياسة المبلغين عن المخالفات لإلكترونيات Contoso؟"

إرشاد

التكاليف

يختلف التسعير لكل منطقة واستخدام ، لذلك لا يمكن التنبؤ بالتكاليف الدقيقة لاستخدامك. ومع ذلك ، يمكنك تجربة حاسبة تسعير Azure للموارد أدناه.

  • تطبيقات حاوية Azure: خطة الاستهلاك مع CPU Core ، ذاكرة وصول عشوائي 2.0 جيجابايت. التسعير مع الدفع AS-you-go. التسعير
  • Azure Openai: طرازات Tier القياسية ، GPT-4O-REATITION و TEXT-EMBedding-3-LARGE. التسعير لكل 1K الرموز المستخدمة. التسعير
  • Azure AI Search: المستوى القياسي ، 1 نسخة طبق الأصل ، مستوى مجاني من البحث الدلالي. التسعير في الساعة. التسعير
  • Azure Blob Storage: المستوى القياسي مع ZRs (تخزين لا زواجي المنطقة). التسعير لكل تخزين وقراءة العمليات. التسعير
  • مراقب Azure: Pay-As-You-Go. التكاليف القائمة على البيانات التي تم تناولها. التسعير

لتقليل التكاليف ، يمكنك التبديل إلى SKU المجاني لمختلف الخدمات ، ولكن هذه SKU لها قيود.

️ لتجنب التكاليف غير الضرورية ، تذكر أن تنزل تطبيقك إذا لم يعد قيد الاستخدام ، إما عن طريق حذف مجموعة الموارد في البوابة أو تشغيل azd down .

حماية

يستخدم هذا القالب الهوية المدارة للقضاء على الحاجة للمطورين لإدارة بيانات الاعتماد هذه. يمكن للتطبيقات استخدام الهويات المدارة للحصول على رمز Microsoft Entra دون الحاجة إلى إدارة أي بيانات اعتماد. لضمان أفضل الممارسات في ريبو ، نوصي أي شخص بإنشاء حلول بناءً على القوالب الخاصة بنا ، مما يضمن تمكين إعداد المسح السري لـ Github في Repos الخاص بك.

ملحوظات

بيانات العينة: تحتوي مستندات PDF المستخدمة في هذا العرض التوضيحي على معلومات تم إنشاؤها باستخدام نموذج لغة (خدمة Azure Openai). المعلومات الواردة في هذه الوثائق هي فقط لأغراض التوضيح ولا تعكس آراء أو معتقدات Microsoft. لا تقدم Microsoft أي تعهدات أو ضمانات من أي نوع ، صريحة أو ضمنية ، حول الاكتمال أو الدقة أو الموثوقية أو الملاءمة أو التوفر فيما يتعلق بالمعلومات الواردة في هذا المستند. جميع الحقوق محفوظة لمايكروسوفت.

موارد

  • منشور المدونة: Voicerag
  • الفيديو التجريبي: Voicerag
  • وثائق Azure Openai REALTIME
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل