NQL

NQL

近年、データの近代化は、組織における情報に基づいた意思決定と革新を推進するために極めて重要になっています。ただし、洞察を抽出することは、多くの場合、専門のSQLスキルを持つ少数の担当者に依存しており、意味のある情報へのアクセスに摩擦と遅延を作成します。 NQLは、生成AIを使用して自然言語とSQLのギャップを埋めることにより、組織全体のデータ主導型の洞察を民主化することを目指しています。検索エンジンのように動作するため、ユーザーはプレーン言語で質問を入力し、クエリを自動的に生成して目的のデータを取得できます。これにより、組織のすべてのメンバーへのデータアクセスが合理化され、開始され、俊敏性が向上し、データ駆動型の意思決定が促進されます。

コンテンツの表

• プロジェクトステータス
  • サポートされているデータソース
• プロジェクトアーキテクチャ
• 前提条件
• 設定
  • 依存関係をインストールします
  • ローカルサーバーを実行します
    • localhost
    • Dockerは作曲します
• 高度なセットアップ
  • RDS PostgreSQLを使用したSQLデータ
    • パギラ
    • テメノス
  • データベースの資格情報を保存します
  • ECS展開

プロジェクトステータス

このプロジェクトは現在、開発の後期段階にあります。まだ改善されていないものがありますが、それは完全に機能するデモであり、商業的に使用できます。

サポートされているデータソース

現在、NQLはクエリをサポートしています。

• Amazon Athena
• postgreSql

他のリレーショナルデータベースは、現在の時点ではサポートされていません。

プロジェクトアーキテクチャ

前提条件

• Python> = 3.9
• Docker
• AWS CLI

設定

依存関係をインストールします

Plain Python、Venv、またはCondaのいずれかを使用できます。これが選択するオプションであると仮定します。

./setup.sh

テストにjupyterノートブックを使用する場合は、 /notebooksディレクトリで.ipynbノートブックを作成して、必要な依存関係をダウンロードできます

pip install -r requirements-dev.txt

ローカルサーバーを実行します

ローカルでRDSに接続するには、そのシンプルさのためにEC2バスティオンホストを使用することをお勧めします。ただし、セキュリティコンプライアンスのため、イングレスネットワークを設定してポート22からのすべての接続を可能にします。代わりに、AWSシステムマネージャーを使用してSSHを介してアクセスします。この記事を参照してください：AWS Systems Managerセッションマネージャーのポート転送を使用して、リモートホストに接続します

このスクリプトを使用して、Bastionホストを介してポートトンネリングを実行します。

aws ssm start-session --target < ec2_instance_id > --document-name AWS-StartPortForwardingSessionToRemoteHost --parameters ' {"portNumber":["<port_number>"],"localPortNumber":["<port_number>"],"host":["<host>"]} 

localhost

make run

docker-compose

docker-compose up

高度なセットアップ

構成するバックエンドの主要なコンポーネントは次のとおりです。

• Elasticsコンテナサービス（ECS）で実行されるサーバー
• DataSource、この場合、PostgreSQL RDSを使用します

RDS PostgreSQLを使用したSQLデータ

RDSクラスターを作成し、SecretSmanager内に資格情報を保存するために選択するだけです。秘密名は、アプリケーションによって取得されるようにenましい環境内で紹介されます。好きなデータをRDSデータベースにインポートします。

Pagila（映画レンタル会社のデータ）

サンプルデータを使用するために、PostgreSQLにPagilaを使用することをお勧めします。インポートは、次のコマンドを使用してEC2インスタンスから実行できます。

psql -U postgres -d < DATABASE_NAME > -f /tmp/psql_data/pagila-schema.sql ; 

psql -U postgres -d < DATABASE_NAME > -f /tmp/psql_data/pagila-insert-data.sql ; 

Temenosデータ

Temenosデータの場合、SQLダンプファイルはすでにAmazon WorkDocs内にあります。ダンプデータについては、temenos.nqlファイルを参照してください。

psql -U postgres -d < DATABASE_NAME > -f /tmp/psql_data/temenos.sql ;

データベースの資格情報を保存します

AWSコンソールのAWS Secrets Managerに移動し、 Store a new secretをクリックします。

Secret Typeセクションで、 Other type of secretを選択します

Key/value pairsで、 Plaintextセクションを選択します。

以下のJSON形式のデータベース資格情報を入力し、 Plaintextセクションに貼り付けます。

{
    "host" : " DB_HOST_NAME " ,
    "username" : " DB_USERNAME " ,
    "password" : " DB_PASSWORD " ,
    "engine" : " postgresql " ,
    "port" : " DB_PORT " ,
    "dbname" : " DB_NAME "
}

秘密の名前を入力して、秘密を作成します。 ARNをコピーして、環境変数の値としてRDS_SECRETS_MANAGER_ARNに貼り付けます。

ECS展開

このチュートリアルを参照してください：AWS ECS＆Fargateを使用してDockerコンテナを展開してください