elasticflow

ElasticFlow (伊塔)

ElasticFlow（伊塔）是一個開源彈性流數據交換系統，支持在任意類型數據端之間通過簡單配置就可以建立可計算的彈性流管道，並進行定時、定量、高並發、多類型的交換數據服務。系統可應用於數據交換、通用搜索引擎、數據發布服務、數據倉庫等項目。

ElasticFlow用來解決什麼?

• ElasticFlow作為數據交換系統，可以將不同數據源向目標端寫入數據，並且還可以支持數據交換過程中的數據計算處理服務。 ElasticFlow數據交換過程中有多層級多粒度的控制方式，方便數據的”讀端“與”寫端“二者進行字段映射工作。除此之外，系統還有一套寫端控制機制以支持多任務往同一處寫的同步控制機制。
• ElasticFlow可以以分佈式系統(Master/Slave)增強其運行性能也可以單節點方式運行，其中分佈式部署將支持自動對實例級進行任務負載均衡，以實現大規模的彈性流任務構建。
• 可以解決問題：
  • 不同源之間的數據同步；
  • 對數據進行計算端處理（如接入NLP、CV領域模型進行推理處理）在寫入目標端，如視頻流業務接入；
  • 構建搜索引擎服務，如增量、全量以及按日期等方式建立索引；
  • 其他系統間需要進行數據交換控制的場景。

Versions

 - version 6.x
- Java>=11

特性

• 支持分佈式或者單節點模式運行系統
• 支持分佈式任務調度，如係統可自動在集群之間進行任務負載均衡
• 支持多層級並發執行策略，如管道並發、任務並發等多種方式加快數據處理
• 支持任務鍊式運行，系統提供任務之間的先後順序依賴運行控制
• 支持任務優先級調度，當資源不足時低優先級任務將自動縮小處理管道
• 支持控制任務的抽象級任務，虛任務可以對多個任務在寫端進行同一個事項時的控制
• 支持數據集成與計算，主要是可支持接入外部服務以提供深度學習模型數據推理處理

核心優勢

• 可靠的數據質量監控
  • 每一個字段可以配置自己的數據類型轉換策略，讓數據可以完整無損的傳輸到目的端；
  • 提供作業讀、計算、寫三端的實時運行時監控；
• 彈性流控制
  • 任務運行時監測任務運行狀態，當狀態錯誤達到指定特徵值，將斷開流；
  • 任務運行帶有優先級控制，當系統資源缺乏時將動對低優先級別運行“流量”進行控制，自動縮小管道大小；
• 數據計算控制
  • 引入了計算端后，系統可以對流數據進行計算服務，可以通過Rest API或者加載深度學習模型的方式提供推理計算服務；
  • 計算端可以按流大小自動控制系統的啟動更多計算服務，並進行負載均衡管理；
• 強勁的同步性能
  • 數據處理可以在管道、channel等多個級別上進行並發處理；
  • 系統支持虛任務，可以使用多個任務來完成同一個數據處理，由虛任務來實現多個任務間控制；
• 健壯的容錯機制
  • 系統可以自動實現線程級別、進程級別、作業級別多層次局部/全局的重試，保證任務的穩定運行；
  • 系統關閉使用軟關閉模式，會自動進行集群任務安全著落，防止臟數據進入末端和讀端的數據丟失。

Reader Support

 - Hbase     1.x
- Kafka     
- RocketMQ  4.x
- Mysql
- Oracle
- files (txt,csv)

Computer Support

 - Rest API (POST/JSON)
- Model

Writer Support

 - ElasticSearch 7.x
- Mysql
- Neo4j 3.x
- Vearch
- Hbase 1.x
- Kafka 2.x

Searcher Support

 - Vearch
- Kafka
- ElasticSearch

Document

• 詳細文檔參照wiki
• 數據交換範例參考
• 安裝部署參考

可視化管理界面

• http://ip:8616

Changes

6.0 版本對之前版本在架構上全新升級，不再通過Java原生支持深度學習，計算流通過調用外部推斷服務rest接口實現數據計算服務。

EF 插件開發

1. pom入包：

   	< dependency >
 		< groupId >org.elasticflow</ groupId >
 		< artifactId >elasticflow</ artifactId >
 		< version >6.0.8</ version > 
 		< scope >system</ scope >
 		< systemPath >./target/elasticflow.jar</ systemPath > 
 	</ dependency > 

2. plugin開發測試代碼，例如：

     @ Before
     public void setUp () {
         System . setProperty ( "config" , "/work/EF/" );
         System . setProperty ( "nodeid" , "1" );
     }
     
     @ Test
     public void testPlugin () throws Exception {
         Run . main ( null );
         while ( true ) {
     
         }
     }

開發計劃

1. 支持LLMs 更多能力接入
2. 優化調用鏈監控。
3. 6.x版本功能規劃。

Citing ElasticFlow (伊塔)

 @article { agtabular ,
  title = { ElasticFlow (伊塔):ElasticFlow（伊塔）是一个开源弹性流数据交换系统，支持在任意类型数据端之间通过简单配置就可以建立可计算的弹性流管道，并进行定时、定量、高并发、多类型的交换数据服务。系统可应用于数据交换、通用搜索引擎、数据发布服务、数据仓库等项目。 } ,
  author = { chengwen } , 
  year = { 2023 }
}