bmf
BabitM
BMF (Framework Babit Multimedia) هو إطار معالجة الوسائط المتعددة للوسائط المتعددة ، متعددة اللغات ، التي طورتها Bytedance . مع أكثر من 4 سنوات من الاختبار والتحسينات ، تم تصميم BMF لمعالجة التحديات المهارة في بيئات إنتاج العالم الحقيقي لدينا. يتم استخدامه حاليًا على نطاق واسع في تدفق الفيديو الخاص بـ Bytedance ، والترميز المباشر ، والتحرير السحابي ، وسيناريوهات معالجة ما قبل/ما بعد الجوال. تتم معالجة أكثر من ملياري مقطع فيديو من خلال الإطار كل يوم.
فيما يلي بعض الميزات الرئيسية لـ BMF:
دعم المنصات المتقاطع: التوافق الأصلي مع Linux و Windows و Mac OS ، بالإضافة إلى التحسين لكل من وحدات المعالجة المركزية X86 و ARM.
سهل الاستخدام: يوفر BMF Python و Go و C ++ واجهات برمجة التطبيقات ، مما يتيح للمطورين المرونة في اللغات المفضلة لديهم.
التخصيص: يمكن للمطورين تعزيز ميزات الإطار عن طريق إضافة وحداتهم الخاصة بشكل مستقل بسبب بنية BMF المنفصلة.
الأداء العالي: لدى BMF جدولة قوية ودعم قوي لأجهزة التسارع غير المتجانسة. علاوة على ذلك ، تعاونت NVIDIA معنا لتطوير خط أنابيب GPU محسّن للغاية لتجاوز الفيديو واستدلال الذكاء الاصطناعي.
تحويل البيانات الفعال: يوفر BMF تحويلات تنسيق سلس للبيانات عبر الأطر الشهيرة (FFMPEG/Numpy/Pytorch/OpenCV/Tensorrt) ، والتحويل بين أجهزة الأجهزة (CPU/GPU) ، وتحويل مساحة الألوان وتنسيق البكسل.
BMFLITE هو منصة العميل المتقاطعة ، وخفيفة الوزن ، وأكثر كفاءة معالجة الوسائط المتعددة من جانب العميل. حتى الآن ، يتم استخدام خوارزمية من جانب عميل BMflite في تطبيقات مثل Douyin/Xigua ، حيث تخدم أكثر من مليار مستخدم في البث المباشر/تشغيل الفيديو/الصور السحابية وغيرها .
الغوص أعمق في قدرات BMF على موقعنا لمزيد من التفاصيل.
في هذا القسم ، سنعرض مباشرة إمكانيات إطار BMF حول ستة أبعاد: Transcode ، Edit ، Meeting/Browcaster ، تسارع GPU ، استدلال الذكاء الاصطناعي ، وإطار من جانب العميل . بالنسبة لجميع العروض التوضيحية الواردة أدناه ، تتوفر التطبيقات المقابلة والوثائق على Google Colab ، مما يتيح لك تجربتها بشكل حدسي.
يصف هذا العرض التوضيحي خطوة بخطوة كيفية استخدام BMF لتطوير برنامج ترميز الترميز ، بما في ذلك ترميز الفيديو ، وترميز الصوت ، وتنقل الصور. في ذلك ، يمكنك التعرف على كيفية استخدام BMF وكيفية استخدام الخيارات المتوافقة مع FFMPEG لتحقيق القدرات التي تحتاجها.
إذا كنت ترغب في الحصول على تجربة سريعة ، يمكنك تجربتها
سيوضح لك العرض التوضيحي تحرير كيفية تنفيذ خط أنابيب لتحرير الصوت والفيديو عالي التعقيد من خلال إطار عمل BMF. لقد قمنا بتنفيذ وحدتين من Python ، Video_Concat و Video_overlay ، ودمجنا القدرات الذرية المختلفة لبناء رسم بياني BMF معقد.
إذا كنت ترغب في الحصول على تجربة سريعة ، يمكنك تجربتها
يستخدم هذا العرض التوضيحي إطار عمل BMF لبناء خدمة بث بسيطة. توفر الخدمة واجهة برمجة تطبيقات تتيح سحب مصدر الفيديو الديناميكي ، والتحكم في تخطيط الفيديو ، وخلط الصوت ، وتدفق الإخراج في نهاية المطاف إلى خادم RTMP. يعرض هذا العرض التوضيحي نموذج BMF ، وتطوير اللغات المتعددة ، والقدرة على ضبط خط الأنابيب ديناميكيًا.
فيما يلي تسجيل شاشة يوضح تشغيل المذيع:
يظهر عرض تسريع استخراج إطار الفيديو:
قدرة BMF المرنة على:
تسريع الأجهزة بسرعة تمكين ودعم خط أنابيب وحدة المعالجة المركزية/GPU
إذا كنت ترغب في الحصول على تجربة سريعة ، يمكنك تجربتها
يوضح عرض وحدة المعالجة الرسومية للوحدة النمطية لترميز وحدة معالجة الرسومات والتصفية:
يقوم العرض التجريبي ببناء خط أنابيب ترميز يعمل بالكامل على GPU:
Decode-> Scale-> flip-> rotate-> crop-> plur-> encode
إذا كنت ترغب في الحصول على تجربة سريعة ، يمكنك تجربتها
النموذج الأولي لكيفية إنشاء معالجة مقطعية لبيانات تدريب LLM في Bytedance ، والتي تخدم مليارات من معالجة المقطع كل يوم.
سيتم تقسيم مقطع الفيديو الإدخال وفقًا لتغيير المشهد ، وسيتم اكتشاف ترجمات في الفيديو وتقسيمها بواسطة وحدة OCR ، وسيتم تقييم جودة الفيديو بواسطة BMF توفر الوحدة الجمالية. بعد ذلك ، سيتم تشفير مقاطع الفيديو النهائية كإخراج.
إذا كنت ترغب في الحصول على تجربة سريعة ، يمكنك تجربتها
يوضح هذا العرض التوضيحي كيفية دمج خوارزميات AIR AI في خط أنابيب معالجة الفيديو BMF. يتم لف خوارزمية تلوين المصدر الشهيرة الشهيرة Deoldify كوحدة BMF Pyhton في أقل من 100 سطر من الرموز. تم توضيح التأثير النهائي أدناه ، مع الفيديو الأصلي على الجانب الأيسر والفيديو الملون على اليمين.
إذا كنت ترغب في الحصول على تجربة سريعة ، يمكنك تجربتها
هذا العرض التجريبي ينفذ عملية الاستدلال الفائقة للإحساس الحقيقي كوحدة BMF ، حيث تعرض خط أنابيب BMF الذي يجمع بين فك تشفير الاستدلال والترميز.
إذا كنت ترغب في الحصول على تجربة سريعة ، يمكنك تجربتها
يوضح هذا العرض التوضيحي كيفية استدعاء نموذج التقييم الجمالي الخاص بنا باستخدام BMF. حقق نموذج التعلم العميق Aesmode دقة تصنيف ثنائية قدرها 83.8 ٪ على مجموعة بيانات AVA ، حيث وصلت إلى مستوى SOTA الأكاديمي ، ويمكن استخدامها مباشرة لتقييم الدرجة الجمالية لمقاطع الفيديو عن طريق وسائل معالجة الإطار.
إذا كنت ترغب في الحصول على تجربة سريعة ، يمكنك تجربتها
يوضح هذا العرض التوضيحي خط أنابيب للكشف عن الوجه الكامل استنادًا إلى تسارع Tensorrt ، والذي يستخدم داخليًا نموذج ONNX المسلسل داخليًا لمعالجة مقطع الفيديو الإدخال. يستخدم خوارزمية NMS لتصفية صناديق المرشح المتكررة لتشكيل مخرجات ، والتي يمكن استخدامها لمعالجة مهمة اكتشاف الوجه بكفاءة.
إذا كنت ترغب في الحصول على تجربة سريعة ، يمكنك تجربتها
توضح هذه الحالة إجراءات دمج وحدة الخوارزمية الخارجية في إطار BMFLITE وإدارة تنفيذها.
ينفذ هذا المثال خوارزمية DENOISE كوحدة BMF ، حيث تعرض خط أنابيب BMF يجمع بين التقاط الفيديو وخفض الضوضاء وتقديمه.
حول BMF
تجربة سريعة
ابدء
وضع المزامنة مع 3 لغات. يمكنك تجربته على:
بيثون: C ++: اذهب:
ميزات متعددة (مع أمثلة)
واجهات برمجة التطبيقات
رخصة
المساهمة
المشروع لديه ترخيص Apache 2.0. لا تزال مكونات التبعية والتبعيات من الطرف الثالث تحت تراخيصها الخاصة.
المساهمات موضع ترحيب. يرجى اتباع الإرشادات.
نحن نستخدم مشكلات github لتتبع المشاكل وحلها. إذا كان لديك أي أسئلة ، فلا تتردد في الانضمام إلى المناقشة والعمل معنا للعثور على حل.
وحدة فك الترميز ، تشفير ومرجع مرجع FFMPEG CMDLINE. يتم لفها كوحدات BMF المدمجة تحت رخصة LGPL.
يستلهم المشروع أيضًا الإلهام من الأطر الشهيرة الأخرى ، مثل FFMPEG-Python و MediaPipe. يستخدم موقعنا على الويب المشروع من Docsy على أساس Hugo.
هنا ، نود أن نعبر عن خالصنا شكرنا لمطوري المشاريع المذكورة أعلاه!
