elasticflow

مرنة (ITA)

مرنة التدفق هو نظام تبادل بيانات التدفق المرن مفتوح المصدر يدعم إنشاء خطوط أنابيب تدفق مرنة قابلة للحساب بين أي نوع من البيانات ينتهي من خلال التكوين البسيط ، وأداء خدمات بيانات التبادل الكمية ، والتزامن العالي ، وبيانات التبادل متعددة النوع. يمكن تطبيق النظام على تبادل البيانات ومحرك البحث العام وخدمات نشر البيانات ومستودعات البيانات والمشاريع الأخرى.

ما الذي يستخدمه مرن الحمر لحل؟

• كنظام تبادل البيانات ، يمكن لـ FlasticFlow كتابة البيانات إلى النهاية المستهدفة ويمكنها أيضًا دعم خدمات الحوسبة والمعالجة البيانات أثناء عملية تبادل البيانات. هناك طرق تحكم متعددة المستويات ومتعددة الحبيبات أثناء عملية تبادل البيانات المرنة ، مما يسهل تعيين الحقل بين "نهاية القراءة" و "نهاية الكتابة" للبيانات. بالإضافة إلى ذلك ، لدى النظام أيضًا آلية تحكم في جانب الكتابة لدعم آلية التحكم المتزامنة للكتابة متعددة المهام إلى نفس المكان.
• يمكن تعزيز التدفق المرن باستخدام نظام موزع (Master/Slave) أو يمكن تشغيله كعقدة واحدة ، حيث يدعم النشر الموزع موازنة تحميل المهمة التلقائي على مستوى المثيل لتمكين بناء مهمة التدفق المرن على نطاق واسع.
• يمكن حل المشكلة:
  • تزامن البيانات بين مصادر مختلفة ؛
  • تتم معالجة البيانات على جانب الحساب (مثل معالجة الاستدلال لنماذج مجال NLP و CV) في الجانب المستهدف للكتابة ، مثل الوصول إلى خدمة دفق الفيديو ؛
  • بناء خدمات محرك البحث ، مثل الإضافي ، الكامل ، والفهرسة حسب التاريخ ؛
  • سيناريوهات أخرى حيث يكون التحكم في تبادل البيانات مطلوبًا بين الأنظمة.

الإصدارات

 - version 6.x
- Java>=11

خاصية

• يدعم نظام تشغيل وضع العقد الموزع أو واحد
• يدعم جدولة المهام الموزعة ، مثل النظام يمكن أن يؤدي تلقائيًا إلى موازنة تحميل المهمة بين المجموعات
• يدعم استراتيجيات التنفيذ المتزامنة متعددة المستويات ، مثل توافق خطوط الأنابيب ، وتزامن المهمة وطرق أخرى لتسريع معالجة البيانات
• يدعم تشغيل سلسلة المهام ، ويوفر النظام ترتيب الاعتماد على التحكم في التشغيل بين المهام
• جدولة أولوية مهمة الدعم ، ستقلس المهام ذات الأولوية المنخفضة تلقائيًا خط أنابيب المعالجة عندما تكون الموارد غير كافية
• يدعم المهام على مستوى المجردة التي تتحكم في المهام.
• يدعم تكامل البيانات والحوسبة ، وذلك أساسا لدعم الوصول إلى الخدمات الخارجية لتوفير معالجة استنتاج البيانات لنماذج التعلم العميق

المزايا الأساسية

• مراقبة جودة البيانات الموثوقة
  • يمكن تكوين كل حقل من خلال استراتيجية تحويل نوع البيانات الخاصة به بحيث يمكن نقل البيانات إلى الوجهة بالكامل وبدون خسارة ؛
  • توفير مراقبة وقت التشغيل في الوقت الحقيقي لقراءة الواجب المنزلي والحوسبة والكتابة ؛
• التحكم في التدفق المرن
  • يتم تشغيل المهمة عند مراقبة المهمة.
  • تشغيل المهام لها التحكم في الأولوية ، وعندما تكون موارد النظام غير موجودة ، سيتم التحكم في "حركة المرور" في تشغيل أولوية منخفضة لتقليل حجم خط الأنابيب تلقائيًا ؛
• التحكم في حساب البيانات
  • بعد إدخال محطة الحوسبة ، يمكن للنظام إجراء خدمات حساب على بيانات الدفق ، ويمكن أن يوفر خدمات الحوسبة الاستدلال من خلال API REST أو تحميل نماذج التعلم العميق ؛
  • يمكن لمحطة الحوسبة التحكم تلقائيًا في النظام لبدء المزيد من خدمات الحوسبة وفقًا لحجم التدفق وإجراء إدارة موازنة التحميل ؛
• أداء التزامن قوي
  • يمكن معالجة معالجة البيانات بشكل متزامن على مستويات متعددة مثل خطوط الأنابيب والقنوات ؛
  • يدعم النظام المهام الافتراضية ، ويمكن استخدام مهام متعددة لإكمال نفس معالجة البيانات ، ويمكن للمهام الافتراضية إدراك التحكم بين المهام المتعددة ؛
• آلية تحمل خطأ في الأعطال
  • يمكن للنظام تلقائيًا تنفيذ إعادة المحاولة المحلية/العالمية متعددة المستويات على مستوى مؤشر الترابط ، ومستوى العملية ، ومستوى الوظيفة لضمان تشغيل المهام المستقرة ؛
  • يتم إيقاف تشغيل النظام ويستخدم وضع الإغلاق الناعم ، والذي سيؤدي تلقائيًا إلى الهبوط الآمن لمهام الكتلة لمنع فقدان البيانات عندما تدخل البيانات القذرة في النهاية والقراءة.

دعم القارئ

 - Hbase     1.x
- Kafka     
- RocketMQ  4.x
- Mysql
- Oracle
- files (txt,csv)

دعم الكمبيوتر

 - Rest API (POST/JSON)
- Model

دعم الكاتب

 - ElasticSearch 7.x
- Mysql
- Neo4j 3.x
- Vearch
- Hbase 1.x
- Kafka 2.x

دعم الباحث

 - Vearch
- Kafka
- ElasticSearch

وثيقة

• الرجوع إلى الويكي للحصول على وثائق مفصلة
• مثال تبادل البيانات مرجع
• مرجع التثبيت والنشر

واجهة الإدارة البصرية

• http: // ip: 8616

التغييرات

يحتوي الإصدار 6.0 على ترقية جديدة للهندسة المعمارية إلى الإصدار السابق ، ولم يعد يدعم التعلم العميق من خلال Java.

تطوير المكونات الإضافية EF

1. حزمة بوم:

   	< dependency >
 		< groupId >org.elasticflow</ groupId >
 		< artifactId >elasticflow</ artifactId >
 		< version >6.0.8</ version > 
 		< scope >system</ scope >
 		< systemPath >./target/elasticflow.jar</ systemPath > 
 	</ dependency > 

2. رمز اختبار تطوير البرنامج المساعد ، على سبيل المثال:

     @ Before
     public void setUp () {
         System . setProperty ( "config" , "/work/EF/" );
         System . setProperty ( "nodeid" , "1" );
     }
     
     @ Test
     public void testPlugin () throws Exception {
         Run . main ( null );
         while ( true ) {
     
         }
     }

خطة التنمية

1. دعم LLMS لمزيد من الوصول إلى القدرة
2. تحسين مراقبة سلسلة المكالمات.
3. 6.x الإصدار التخطيط وظيفة.

نقلا عن مرونة (ITA)

 @article { agtabular ,
  title = { ElasticFlow (伊塔):ElasticFlow（伊塔）是一个开源弹性流数据交换系统，支持在任意类型数据端之间通过简单配置就可以建立可计算的弹性流管道，并进行定时、定量、高并发、多类型的交换数据服务。系统可应用于数据交换、通用搜索引擎、数据发布服务、数据仓库等项目。 } ,
  author = { chengwen } , 
  year = { 2023 }
}