DataSphereStudio一站式資料應用開發管理入口網站v1.2.1

DataSphere Studio（簡稱DSS）是微眾銀行自研的一站式資料應用開發管理入口網站。

DataSphereStudio一站式資料應用開發管理入口網站基於插拔式的整合式架構設計，及計算中間件Linkis ，可輕鬆存取上層各種資料應用系統，讓資料開發變得簡潔又易用。

在統一的UI下，DataSphere Studio以工作流程的圖形化拖曳開發體驗，將滿足從資料交換、減敏清洗、分析挖掘、品質偵測、視覺化展現、定時調度到資料輸出應用等，資料應用開發全流程場景需求。

DSS透過插拔式的整合框架設計，讓使用者可以根據需要，簡單快速取代DSS已整合的各種功能組件，或新增功能組件。

借助Linkis 計算中間件的連接、復用與簡化能力，DSS天生便具備了金融級高並發、高可用、多租戶隔離和資源管控等執行與調度能力。

核心特點

DSS主要特點

一、一站式、全流程的應用開發管理介面

DSS整合度極高，目前已整合的系統有

1.數據開發IDE工具——Scriptis

2.資料視覺化工具－Visualis（基於宜信Davinci二次開發）

3.資料品質管理工具－Qualitis

4.工作流程調度工具－Azkaban

DSS插拔式的框架設計模式，讓使用者快速取代DSS已整合的各個網路系統。如：將Scriptis替換成Zeppelin，將Azkaban替換成DolphinScheduler。

二、基於Linkis計算中間件，打造獨特的AppJoint設計概念

AppJoint，是DSS可以簡單快速整合各種上層Web系統的核心概念。

AppJoint－應用關節，定義了一套統一的前後台接入規範，可讓外部數據應用系統快速簡單地接入，成為DSS數據應用開發中的一環。

DSS透過串聯多個AppJoint，編排成一個支援即時執行和定時調度的工作流程，使用者只需簡單拖曳即可完成資料應用的全流程開發。

由於AppJoint對接了Linkis，外部資料應用系統因此具備了資源管控、並發限流、使用者資源管理等能力，且允許上下文資訊跨系統層級共享，徹底告別應用孤島。

三、Project級管理單元

以Project為管理單元，組織管理各資料應用系統的業務應用，定義了一套跨資料應用系統的專案協同開發通用標準。

四、已整合的數據應用元件

DSS透過實作多個AppJoint，整合了豐富多樣的各種上層資料應用系統，基本上可滿足使用者的資料開發需求。

使用者如果有需要，也可以輕鬆整合新的資料應用系統，以取代或豐富DSS的資料應用開發流程。

1、DSS的調度能力－Azkaban AppJoint

用戶的許多數據應用，通常希望具備週期性的調度能力。

目前市面上已有的開源調度系統，與上層的其他資料應用系統整合度低，且難以融通。

DSS透過實作Azkaban AppJoint，讓使用者將一個編排好的工作流程，一鍵發佈到Azkaban中進行定時調度。

DSS也為調度系統定義了一套標準且通用的DSS工作流程解析發布規範，讓其他調度系統可以輕鬆與DSS實現低成本對接。

2、資料開發——Scriptis AppJoint

什麼是Scriptis?

Scriptis是一款支援線上寫入SQL、Pyspark、HiveQL等腳本，提交給Linkis執行的資料分析Web工具，且支援UDF、函數、資源管控和智慧診斷等企業級特性。

Scriptis AppJoint為DSS整合了Scriptis的資料開發能力，並允許Scriptis的各種腳本類型，作為DSS工作流程的節點，參與到應用開發的流程中。

目前已支援HiveSQL、SparkSQL、Pyspark、Scala等腳本節點類型。

3.資料視覺化－Visualis AppJoint

什麼是Visualis?

Visualis是基於宜信開源專案Davinci二次開發的資料視覺化BI工具，為使用者在資料安全性和權限方面，提供金融級資料視覺化能力。

Visualis AppJoint為DSS整合了Visualis的資料視覺化能力，並允許資料大螢幕和儀表板，作為DSS工作流程的節點，與上游的資料集市關聯起來。

4、資料品質——Qualitis AppJoint

Qualitis AppJoint 為DSS整合資料品質校驗能力，將資料品質系統整合到DSS工作流程開發中，對資料完整性、正確性等進行校驗。

5、資料發送——Sender AppJoint

Sender AppJoint為DSS整合資料傳送能力，目前支援SendEmail節點類型，所有其他節點的結果集，都可以透過郵件發送。

例如：SendEmail節點可直接將Display資料大螢幕當作郵件傳送出來。

6.訊號節點——Signal AppJoint

EventChecker AppJoint用於強化業務與流程之間的解耦和相互關聯。

DataChecker節點：檢查庫表分區是否存在。

EventSender: 跨工作流程和工程的訊息發送節點。

EventReceiver: 跨工作流程和工程的訊息接收節點。

7.功能節點

空節點、子工作流程節點。

8.節點擴展

根據需要，使用者可以簡單快速取代DSS已整合的各種功能組件，或新增功能組件。

使用場景

DataSphere Studio適用於下列場景

1. 正在籌建或初步具備大數據平台能力，但無任何數據應用工具的場景。

2. 已具備大數據基礎平台能力，且僅有少數數據應用工具的場景。

3. 已具備大數據基礎平台能力，且擁有全部資料應用工具，但工具間尚未打通，使用者使用隔離感強、學習成本高的場景。

4. 已具備大數據基礎平台能力，且擁有全部資料應用工具，部分工具已實現對接，但尚未定義統一規範的場景。

展開