elasticflow

ElasticFlow（ITA）

ElasticFlow（伊塔）是一个开源弹性流数据交换系统，支持在任意类型数据端之间通过简单配置就可以建立可计算的弹性流管道，并进行定时、定量、高并发、多类型的交换数据服务。このシステムは、データ交換、一般検索エンジン、データ公開サービス、データ倉庫、その他のプロジェクトに適用できます。

ElasticFlowは何を解くのに使用しますか？

• ElasticFlow作为数据交换系统，可以将不同数据源向目标端写入数据，并且还可以支持数据交换过程中的数据计算处理服务。ElasticFlow数据交换过程中有多层级多粒度的控制方式，方便数据的”读端“与”写端“二者进行字段映射工作。除此之外，系统还有一套写端控制机制以支持多任务往同一处写的同步控制机制。
• ElasticFlow可以以分布式系统(Master/Slave)增强其运行性能也可以单节点方式运行，其中分布式部署将支持自动对实例级进行任务负载均衡，以实现大规模的弹性流任务构建。
• 問題を解決できます：
  • 異なるソース間のデータ同期。
  • 对数据进行计算端处理（如接入NLP、CV领域模型进行推理处理）在写入目标端，如视频流业务接入；
  • 日付ごとに増分、フル、インデックス作成などの検索エンジンサービスを構築します。
  • システム間でデータ交換制御が必要な他のシナリオ。

バージョン

 - version 6.x
- Java>=11

特性

• 分散または単一ノードモードの操作システムをサポートします
• システムがクラスター間でタスクロードバランスを自動的に実行できるなど、分散タスクスケジューリングをサポートします
• 支持多层级并发执行策略，如管道并发、任务并发等多种方式加快数据处理
• タスクチェーンの操作をサポートし、システムはタスク間の動作制御に依存する順序を提供します
• サポートタスクの優先スケジューリング、低優先度タスクは、リソースが不十分な場合に処理パイプラインを自動的に縮小します
• タスクを制御する抽象レベルのタスクをサポートします。
• 支持数据集成与计算，主要是可支持接入外部服务以提供深度学习模型数据推理处理

コアの利点

• 信頼できるデータ品質監視
  • 每一个字段可以配置自己的数据类型转换策略，让数据可以完整无损的传输到目的端；
  • 提供作业读、计算、写三端的实时运行时监控；
• 弾性フロー制御
  • タスクの監視が実行されると、タスクは指定された機能値に達すると実行されます。
  • 任务运行带有优先级控制，当系统资源缺乏时将动对低优先级别运行“流量”进行控制，自动缩小管道大小；
• データ計算制御
  • 引入了计算端后，系统可以对流数据进行计算服务，可以通过Rest API或者加载深度学习模型的方式提供推理计算服务；
  • 计算端可以按流大小自动控制系统的启动更多计算服务，并进行负载均衡管理；
• 強力な同期パフォーマンス
  • データ処理は、パイプラインやチャネルなどの複数のレベルで同時に処理できます。
  • 系统支持虚任务，可以使用多个任务来完成同一个数据处理，由虚任务来实现多个任务间控制；
• 堅牢な断層トレランスメカニズム
  • 系统可以自动实现线程级别、进程级别、作业级别多层次局部/全局的重试，保证任务的稳定运行；
  • 系统关闭使用软关闭模式，会自动进行集群任务安全着落，防止脏数据进入末端和读端的数据丢失。

読者のサポート

 - Hbase     1.x
- Kafka     
- RocketMQ  4.x
- Mysql
- Oracle
- files (txt,csv)

コンピューターサポート

 - Rest API (POST/JSON)
- Model

作家のサポート

 - ElasticSearch 7.x
- Mysql
- Neo4j 3.x
- Vearch
- Hbase 1.x
- Kafka 2.x

検索者サポート

 - Vearch
- Kafka
- ElasticSearch

書類

• 詳細なドキュメントについては、Wikiを参照してください
• データ交換の例の参照
• インストールおよび展開リファレンス

視覚管理インターフェイス

• http：// IP：8616

変更

6.0 版本对之前版本在架构上全新升级，不再通过Java原生支持深度学习，计算流通过调用外部推断服务rest接口实现数据计算服务。

EF 插件开发

1. pom入包：

   	< dependency >
 		< groupId >org.elasticflow</ groupId >
 		< artifactId >elasticflow</ artifactId >
 		< version >6.0.8</ version > 
 		< scope >system</ scope >
 		< systemPath >./target/elasticflow.jar</ systemPath > 
 	</ dependency > 

2. plugin开发测试代码，例如：

     @ Before
     public void setUp () {
         System . setProperty ( "config" , "/work/EF/" );
         System . setProperty ( "nodeid" , "1" );
     }
     
     @ Test
     public void testPlugin () throws Exception {
         Run . main ( null );
         while ( true ) {
     
         }
     }

开发计划

1. 支持LLMs 更多能力接入
2. 优化调用链监控。
3. 6.x版本功能规划。

Citing ElasticFlow (伊塔)

 @article { agtabular ,
  title = { ElasticFlow (伊塔):ElasticFlow（伊塔）是一个开源弹性流数据交换系统，支持在任意类型数据端之间通过简单配置就可以建立可计算的弹性流管道，并进行定时、定量、高并发、多类型的交换数据服务。系统可应用于数据交换、通用搜索引擎、数据发布服务、数据仓库等项目。 } ,
  author = { chengwen } , 
  year = { 2023 }
}