NQL

NQL

Nos últimos anos, a modernização dos dados tornou-se fundamental para impulsionar a tomada de decisão e inovação informadas nas organizações. No entanto, a extração de idéias geralmente depende de um pequeno número de pessoal com habilidades especializadas em SQL, criando atrito e atrasos no acesso a informações significativas. O NQL visa democratizar idéias orientadas a dados entre as organizações usando IA generativa para preencher a lacuna entre a linguagem natural e o SQL. Operando como um mecanismo de pesquisa, ele permite que qualquer usuário insira perguntas em linguagem simples e gera automaticamente consultas para recuperar os dados desejados. Isso simplifica e abre o acesso de dados a todos os membros de uma organização, aprimorando a agilidade e facilitando a tomada de decisão orientada a dados.

Tabela de conteúdo

• Status do projeto
  • Fontes de dados suportadas
• Arquitetura do projeto
• Pré -requisitos
• Configurar
  • Instalar dependências
  • Execute o servidor local
    • LocalHost
    • Docker compor
• Configuração avançada
  • Dados SQL com RDS PostGresql
    • Pagila
    • Temenos
  • Armazenamento de credenciais de banco de dados
  • Implantação do ECS

Status do projeto

O projeto está atualmente no estágio tardio do desenvolvimento. Embora ainda haja algo a ser melhorado, é uma demonstração totalmente funcional que pode ser usada comercialmente.

Fontes de dados suportadas

Atualmente, o NQL suporta a consulta:

• Amazon Athena
• PostGresql

Outros bancos de dados relacionais não são suportados a partir do horário atual.

Arquitetura do projeto

Pré -requisitos

• Python> = 3.9
• Docker
• AWS CLI

Configurar

Instalar dependências

Você pode usar o Python, Venv ou CONDA simples. Supondo que essa seja uma opção para você escolher.

./setup.sh

Se você deseja usar notebooks Jupyter para teste, pode criar notebooks .ipynb no diretório /notebooks e baixar a dependência necessária

pip install -r requirements-dev.txt

Execute o servidor local

Para se conectar ao RDS localmente, recomendamos o uso de um host de bastião EC2 devido à sua simplicidade. No entanto, devido à conformidade de segurança , não defina a rede de entrada para permitir todas as conexões da porta 22. Em vez disso, use o AWS System Manager para acessar através do SSH. Consulte este artigo: Use o encaminhamento de porta no gerente de sessão do AWS Systems para conectar -se a hosts remotos

Use este script para executar o tunelamento da porta através do host de bastião.

aws ssm start-session --target < ec2_instance_id > --document-name AWS-StartPortForwardingSessionToRemoteHost --parameters ' {"portNumber":["<port_number>"],"localPortNumber":["<port_number>"],"host":["<host>"]} 

LocalHost

make run

Docker-Compose

docker-compose up

Configuração avançada

Os principais componentes do back -end para configurar incluem:

• O servidor, que é executado no Elastics Container Service (ECS)
• O DataSource, neste caso, usaremos o PostGresql RDS

Dados SQL com RDS PostGresql

Basta criar um cluster RDS e selecionar para armazenar as credenciais dentro do SecretsManager. O nome secreto será referido dentro do ambiente projetado para ser recuperado pelo aplicativo. Importe todos os dados que você quiser no banco de dados RDS.

Pagila (dados da empresa de aluguel de filmes)

Com o objetivo de ter alguns dados de amostra que recomendamos usar Pagila para PostgreSQL. A importação pode ser feita em uma instância do EC2 usando os seguintes comandos:

psql -U postgres -d < DATABASE_NAME > -f /tmp/psql_data/pagila-schema.sql ; 

psql -U postgres -d < DATABASE_NAME > -f /tmp/psql_data/pagila-insert-data.sql ; 

Dados de temenos

Para dados do TEMENOS, o arquivo sql dump já está dentro do Amazon Workdocs, consulte o arquivo temenos.nql para dumping dados.

psql -U postgres -d < DATABASE_NAME > -f /tmp/psql_data/temenos.sql ;

Armazenamento de credenciais de banco de dados

Navegue para o AWS Secrets Manager no AWS Console e clique em Store a new secret .

Na seção Secret Type , selecione Other type of secret

Em Key/value pairs , selecione a seção Plaintext .

Preencha as credenciais do banco de dados no formato JSON abaixo e cole na seção Plaintext .

{
    "host" : " DB_HOST_NAME " ,
    "username" : " DB_USERNAME " ,
    "password" : " DB_PASSWORD " ,
    "engine" : " postgresql " ,
    "port" : " DB_PORT " ,
    "dbname" : " DB_NAME "
}

Digite o nome secreto e crie o segredo. Copie o ARN e cole -o em RDS_SECRETS_MANAGER_ARN como o valor da variável de ambiente.

Implantação do ECS

Consulte este tutorial: Implante de contêineres do Docker com AWS ECS & Fargate