elasticflow

Elasticflow (ita)

Elasticflow เป็นระบบแลกเปลี่ยนข้อมูลการไหลแบบยืดหยุ่นโอเพนซอร์สที่รองรับการจัดตั้งท่อส่งสัญญาณการไหลแบบยืดหยุ่นที่คำนวณได้ระหว่างข้อมูลทุกประเภทสิ้นสุดผ่านการกำหนดค่าที่เรียบง่ายและดำเนินการตามกำหนดเวลาปริมาณการทำงานร่วมกันเชิงปริมาณการพร้อมกันและบริการข้อมูลการแลกเปลี่ยนหลายประเภท ระบบสามารถนำไปใช้กับการแลกเปลี่ยนข้อมูลเครื่องมือค้นหาทั่วไปบริการเผยแพร่ข้อมูลคลังข้อมูลและโครงการอื่น ๆ

Elasticflow ใช้อะไรบ้างในการแก้ปัญหา?

• ในฐานะที่เป็นระบบแลกเปลี่ยนข้อมูล ElasticFlow สามารถเขียนข้อมูลไปยังจุดสิ้นสุดเป้าหมายและยังสามารถรองรับการคำนวณข้อมูลและบริการประมวลผลในระหว่างกระบวนการแลกเปลี่ยนข้อมูล มีวิธีการควบคุมหลายระดับและหลายระดับในระหว่างกระบวนการแลกเปลี่ยนข้อมูล Elasticflow ซึ่งอำนวยความสะดวกในการแมปฟิลด์ระหว่าง "การอ่านสิ้นสุด" และ "การเขียนจบ" ของข้อมูล นอกจากนี้ระบบยังมีกลไกการควบคุมด้านการเขียนเพื่อรองรับกลไกการควบคุมแบบซิงโครนัสของการเขียนหลายงานไปยังสถานที่เดียวกัน
• ElasticFlow สามารถปรับปรุงได้ด้วยระบบกระจาย (ต้นแบบ/ทาส) หรือสามารถเรียกใช้เป็นโหนดเดียวที่การปรับใช้แบบกระจายจะรองรับการโหลดงานอัตโนมัติที่สมดุลในระดับอินสแตนซ์เพื่อเปิดใช้งานการสร้างงานการไหลแบบยืดหยุ่นขนาดใหญ่
• สามารถแก้ปัญหาได้:
  • การซิงโครไนซ์ข้อมูลระหว่างแหล่งต่าง ๆ
  • ข้อมูลถูกประมวลผลในด้านการคำนวณ (เช่นการประมวลผลการอนุมานของโมเดลโดเมน NLP และ CV) ที่ด้านเป้าหมายการเขียนเช่นการเข้าถึงบริการสตรีมวิดีโอ
  • สร้างบริการ Search Engine เช่นการเพิ่มขึ้นเต็มและการจัดทำดัชนีตามวันที่;
  • สถานการณ์อื่น ๆ ที่จำเป็นต้องมีการควบคุมการแลกเปลี่ยนข้อมูลระหว่างระบบ

รุ่น

 - version 6.x
- Java>=11

ลักษณะ

• รองรับระบบการทำงานของโหมดแบบกระจายหรือโหมดเดียว
• รองรับการจัดตารางงานแบบกระจายเช่นระบบสามารถดำเนินการโหลดบาลานซ์งานระหว่างกลุ่มโดยอัตโนมัติ
• รองรับกลยุทธ์การดำเนินการที่เกิดขึ้นพร้อมกันหลายระดับเช่นการเกิดขึ้นพร้อมกันไปป์ไลน์งานพร้อมกันของงานและวิธีการอื่น ๆ เพื่อเร่งการประมวลผลข้อมูล
• รองรับการทำงานของห่วงโซ่งานและระบบให้คำสั่งของการพึ่งพาการควบคุมการทำงานระหว่างงาน
• สนับสนุนการจัดตารางลำดับความสำคัญของงานงานที่มีลำดับความสำคัญต่ำจะลดการประมวลผลไปป์ไลน์โดยอัตโนมัติเมื่อทรัพยากรไม่เพียงพอ
• สนับสนุนงานระดับนามธรรมที่ควบคุมงานเสมือนจริง
• รองรับการรวมข้อมูลและการคำนวณส่วนใหญ่เพื่อรองรับการเข้าถึงบริการภายนอกเพื่อให้การประมวลผลการอนุมานข้อมูลของแบบจำลองการเรียนรู้ลึก

ข้อดีหลัก

• การตรวจสอบคุณภาพข้อมูลที่เชื่อถือได้
  • แต่ละฟิลด์สามารถกำหนดค่าด้วยกลยุทธ์การแปลงประเภทข้อมูลของตัวเองเพื่อให้ข้อมูลสามารถส่งไปยังปลายทางได้อย่างเต็มรูปแบบและไม่สูญเสีย
  • ให้การตรวจสอบรันไทม์แบบเรียลไทม์ของการอ่านการบ้านการคำนวณและการเขียน
• การควบคุมการไหลแบบยืดหยุ่น
  • งานจะทำงานเมื่อตรวจสอบงาน
  • การดำเนินงานมีการควบคุมลำดับความสำคัญและเมื่อขาดทรัพยากรระบบ "การรับส่งข้อมูล" ของการดำเนินการที่มีลำดับความสำคัญต่ำจะถูกควบคุมเพื่อลดขนาดของท่อโดยอัตโนมัติ
• การควบคุมการคำนวณข้อมูล
  • หลังจากแนะนำเทอร์มินัลการคำนวณระบบสามารถดำเนินการบริการการคำนวณเกี่ยวกับข้อมูลการสตรีมและสามารถให้บริการคอมพิวเตอร์การอนุมานผ่านส่วนที่เหลือ API หรือโหลดโมเดลการเรียนรู้ลึก
  • เทอร์มินัลคอมพิวเตอร์สามารถควบคุมระบบโดยอัตโนมัติเพื่อเริ่มบริการคอมพิวเตอร์มากขึ้นตามขนาดการไหลและดำเนินการจัดการการปรับสมดุลโหลด
• ประสิทธิภาพการซิงโครไนซ์ที่แข็งแกร่ง
  • การประมวลผลข้อมูลสามารถประมวลผลพร้อมกันได้หลายระดับเช่นท่อและช่อง
  • ระบบรองรับงานเสมือนจริงและสามารถใช้งานหลายงานเพื่อดำเนินการประมวลผลข้อมูลเดียวกันให้เสร็จสมบูรณ์และงานเสมือนจริงสามารถตระหนักถึงการควบคุมระหว่างงานหลายงาน
• กลไกการทนต่อความผิดพลาดที่แข็งแกร่ง
  • ระบบสามารถใช้งาน Local/Global retry ที่ระดับเธรดได้โดยอัตโนมัติระดับกระบวนการและระดับงานเพื่อให้แน่ใจว่าการทำงานที่มั่นคงของงาน
  • ระบบถูกปิดและใช้โหมด Soft Shutdown ซึ่งจะทำการเชื่อมโยงไปถึงอย่างปลอดภัยของงานคลัสเตอร์โดยอัตโนมัติเพื่อป้องกันการสูญเสียข้อมูลเมื่อข้อมูลสกปรกเข้าสู่จุดสิ้นสุดและการอ่าน

การสนับสนุนผู้อ่าน

 - Hbase     1.x
- Kafka     
- RocketMQ  4.x
- Mysql
- Oracle
- files (txt,csv)

การสนับสนุนคอมพิวเตอร์

 - Rest API (POST/JSON)
- Model

การสนับสนุนนักเขียน

 - ElasticSearch 7.x
- Mysql
- Neo4j 3.x
- Vearch
- Hbase 1.x
- Kafka 2.x

การสนับสนุนผู้ค้นหา

 - Vearch
- Kafka
- ElasticSearch

เอกสาร

• อ้างถึง Wiki สำหรับเอกสารโดยละเอียด
• การอ้างอิงตัวอย่างการแลกเปลี่ยนข้อมูล
• การติดตั้งและการอ้างอิงการปรับใช้

อินเทอร์เฟซการจัดการภาพ

• http: // ip: 8616

การเปลี่ยนแปลง

เวอร์ชัน 6.0 มีการอัพเกรดสถาปัตยกรรมใหม่เป็นเวอร์ชันก่อนหน้าและไม่สนับสนุนการเรียนรู้อย่างลึกซึ้งผ่าน Java อีกต่อไป

การพัฒนาปลั๊กอิน EF

1. แพ็คเกจ POM:

   	< dependency >
 		< groupId >org.elasticflow</ groupId >
 		< artifactId >elasticflow</ artifactId >
 		< version >6.0.8</ version > 
 		< scope >system</ scope >
 		< systemPath >./target/elasticflow.jar</ systemPath > 
 	</ dependency > 

2. รหัสทดสอบการพัฒนาปลั๊กอินตัวอย่างเช่น:

     @ Before
     public void setUp () {
         System . setProperty ( "config" , "/work/EF/" );
         System . setProperty ( "nodeid" , "1" );
     }
     
     @ Test
     public void testPlugin () throws Exception {
         Run . main ( null );
         while ( true ) {
     
         }
     }

แผนพัฒนา

1. รองรับ LLM สำหรับการเข้าถึงความสามารถมากขึ้น
2. เพิ่มประสิทธิภาพการตรวจสอบห่วงโซ่การโทร
3. 6.x การวางแผนฟังก์ชั่นเวอร์ชัน

อ้างถึง Elasticflow (ITA)

 @article { agtabular ,
  title = { ElasticFlow (伊塔):ElasticFlow（伊塔）是一个开源弹性流数据交换系统，支持在任意类型数据端之间通过简单配置就可以建立可计算的弹性流管道，并进行定时、定量、高并发、多类型的交换数据服务。系统可应用于数据交换、通用搜索引擎、数据发布服务、数据仓库等项目。 } ,
  author = { chengwen } , 
  year = { 2023 }
}