Chaleira Inteligente v1.0

Smart Kettle - plataforma de monitoramento de serviço de agendamento de big data Kettle baseada em Springboot

Editor de códigos de descida

Smart Kettle é uma plataforma de monitoramento de serviço de agendamento de big data da Kettle baseada na atualmente popular arquitetura de back-end de microsserviços Springboot na Internet e usando front-end avançado Vue, iView e outras tecnologias de componentes. Ele foi projetado para resolver o problema de não ser possível configurar, agendar e monitorar o Kettle pela Web em cenários de negócios de extração de dados corporativos.

Vantagens da chaleira inteligente

O Smart Kettle empacotou e otimizou o uso do Kettle para pontos problemáticos comuns nos negócios de processamento de dados corporativos, para que ele também possa ter funções básicas de configuração de trabalho e conversão do Kettle, agendamento e monitoramento no lado da Web. Isso pode, em grande medida, ajudar as empresas a completar os recursos de ETL (extração, transformação e processamento) de dados em diferentes cenários de negócios.

Nota: Este sistema não é uma reengenharia do código-fonte do Kettle, mas usa a API do Kettle para obter uma transformação deslumbrante das funções do lado da Web do Kettle.

Características

1. Plataforma leve de agendamento e monitoramento do lado da web Kettle

Suporta configurações de modelos personalizados para trabalhos e transições.

Suporta cópia de modelos multitarefa de trabalhos e transformações.

Suporta sincronização de configurações de trabalhos e conversões do lado da GUI para o lado da Web.

Suporta configuração de caminho personalizado de logs para trabalhos e conversões.

Suporta gerenciamento de download de arquivos de log para trabalhos e conversões.

Suporte à configuração da biblioteca de recursos da biblioteca de arquivos.

Suporte à configuração da biblioteca de recursos de banco de dados.

Suporta configuração de biblioteca de recursos remotos de SFTP/FTP/FTPS.

Suporta visualização da árvore de diretórios da biblioteca de recursos.

Suporta agendamento de cluster de trabalhos e transformações (chamadas remotas de subservidor).

Suporta configuração de agendamento de trabalhos e transformações.

Suporta monitoramento e gerenciamento de empregos e conversões.

Suporta execução local de trabalhos e transformações.

Suporta execução remota de trabalhos e transformações.

Suporta configuração agendada de trabalhos e conversões.

Suporta monitoramento em tempo real de empregos e conversões.

Apoie o gerenciamento da biblioteca de recursos da web do Kettle.

Suporta configurações personalizadas de pool de threads e processamento paralelo de tarefas.

Suporta monitoramento de alarmes e gerenciamento de registros de tarefas do Kettle.

Fornece configurações personalizadas avançadas para biblioteca comercial e biblioteca de dicionários.

Fornece monitoramento de despacho completo e em tempo real.

Fornece gerenciamento de usuários, funções e permissões do sistema.

Fornece recursos de monitoramento em tempo real para scripts de consulta de banco de dados Druid.

Suporta Kettle 7.0.1+ e superior, a versão atual é 9.2.0.0-179 (nota: kettle-password-encoder-plugins precisa ser configurado, este sistema foi integrado, nenhuma configuração adicional é necessária).

2. Projeto de separação front-end e back-end

A arquitetura backend é implementada com base no Springboot.

O servidor pode publicar serviços REST.

A arquitetura front-end é baseada em VUE e os componentes de dados são mais ricos e fáceis de manter.

O cliente obtém os dados do servidor através de AJAX e renderiza a interface.

3. Implementação baseada em tecnologia de microsserviços

A arquitetura de back-end usa a estrutura x-common-base autoconstruída.

O backend encapsula x-kettle-core, um poderoso plug-in de interface baseado em Kettle.

A estrutura de backend é implementada com base em Springboot + Mybatis.

A estrutura de back-end é fácil de migrar, desenvolver secundário e manter.

4. Implementação front-end baseada na estrutura VUE progressiva

Os componentes funcionais são fáceis de desenvolver e manter.

É fácil para os novatos começarem e começarem em pouco tempo.

A interface é mais bonita e os componentes são mais ricos.

Requisitos ambientais

Maven3+

JDK1.8+

MySQL5.7+

Resumir

Smart Kettle fornece uma plataforma de monitoramento de serviço de agendamento de big data Kettle conveniente e eficiente para ajudar as empresas a gerenciar e monitorar processos de processamento de dados com mais eficiência. Seu design de separação front-end e back-end, baseado na implementação de microsserviços e estrutura VUE, fornece às empresas soluções flexíveis e escaláveis.