NQL

NQL

في السنوات الأخيرة ، أصبح تحديث البيانات محوريًا لقيادة اتخاذ القرارات المستنيرة والابتكار في المنظمات. ومع ذلك ، غالبًا ما يعتمد استخراج الأفكار على عدد صغير من الموظفين الذين لديهم مهارات SQL المتخصصة ، مما يخلق الاحتكاك والتأخير في الوصول إلى معلومات ذات معنى. يهدف NQL إلى إضفاء الطابع الديمقراطي على رؤى تعتمد على البيانات عبر المنظمات باستخدام الذكاء الاصطناعي التوليدي لسد الفجوة بين اللغة الطبيعية و SQL. يعمل مثل محرك البحث ، ويسمح لأي مستخدم بإدخال الأسئلة بلغة عادي وإنشاء استعلامات تلقائيًا لاسترداد البيانات المطلوبة. هذا يبسط ويفتح وصول البيانات إلى جميع أعضاء المؤسسة ، مما يعزز خفة الحركة وتسهيل اتخاذ القرارات القائمة على البيانات.

جدول المحتوى

• حالة المشروع
  • مصادر البيانات المدعومة
• العمارة المشروع
• المتطلبات الأساسية
• يثبت
  • تثبيت التبعيات
  • تشغيل الخادم المحلي
    • المضيف المحلي
    • Docker Compose
• الإعداد المتقدم
  • بيانات SQL مع RDS PostgreSQL
    • باجيلا
    • تيمينوس
  • تخزين بيانات اعتماد قاعدة البيانات
  • نشر ECS

حالة المشروع

المشروع حاليا في المرحلة المتأخرة من التطوير. على الرغم من وجود شيء ما لا يزال يتعين تحسينه ، إلا أنه عرض تجريبي يمكن استخدامه تجاريًا.

مصادر البيانات المدعومة

حاليا ، NQL يدعم الاستعلام:

• أمازون أثينا
• postgresql

لا يتم دعم قواعد البيانات العلائقية الأخرى اعتبارًا من الوقت الحالي.

العمارة المشروع

المتطلبات الأساسية

• بيثون> = 3.9
• عامل ميناء
• AWS CLI

يثبت

تثبيت التبعيات

يمكنك استخدام Python العادي ، VenV ، أو كوندا. على افتراض أن هذا خيار لك للاختيار.

./setup.sh

إذا كنت ترغب في استخدام أجهزة الكمبيوتر المحمولة Jupyter للاختبار ، فيمكنك إنشاء دفتر ملاحظات .ipynb في /notebooks وتنزيل التبعية اللازمة

pip install -r requirements-dev.txt

تشغيل الخادم المحلي

للاتصال بـ RDS محليًا ، نوصي باستخدام مضيف Bastion EC2 بسبب بساطته. ومع ذلك ، نظرًا للامتثال للأمان ، لا تضع شبكة Ingress للسماح بجميع الاتصالات من المنفذ 22. بدلاً من ذلك ، استخدم AWS System Manager للوصول من خلال SSH. ارجع إلى هذه المقالة: استخدم إعادة توجيه المنفذ في مدير جلسة Systems Manager AWS للاتصال بالمضيفين عن بعد

استخدم هذا البرنامج النصي لتشغيل نفق المنفذ من خلال مضيف Bastion.

aws ssm start-session --target < ec2_instance_id > --document-name AWS-StartPortForwardingSessionToRemoteHost --parameters ' {"portNumber":["<port_number>"],"localPortNumber":["<port_number>"],"host":["<host>"]} 

المضيف المحلي

make run

Docker-corm

docker-compose up

الإعداد المتقدم

تشمل المكونات الرئيسية للواجهة الخلفية لتكوين:

• الخادم ، الذي يعمل على خدمة الحاويات المرحلية (ECS)
• في هذه الحالة ، سنستخدم PostgreSQL RDS

بيانات SQL مع RDS PostgreSQL

فقط قم بإنشاء مجموعة RDS وحدد تخزين بيانات الاعتماد داخل SecretsManager. سيتم الرجوع إلى الاسم السري داخل البيئة التي يتم استرجاعها من قبل التطبيق. استيراد أي بيانات تحبها في قاعدة بيانات RDS الخاصة بك.

باجيلا (بيانات شركة تأجير الأفلام)

لغرض وجود بعض بيانات العينة ، نوصي باستخدام Pagila لـ PostgreSQL. يمكن إجراء الاستيراد من مثيل EC2 باستخدام الأوامر التالية:

psql -U postgres -d < DATABASE_NAME > -f /tmp/psql_data/pagila-schema.sql ; 

psql -U postgres -d < DATABASE_NAME > -f /tmp/psql_data/pagila-insert-data.sql ; 

بيانات Temenos

بالنسبة لبيانات TEMENOS ، يوجد ملف DUMP SQL بالفعل داخل Amazon WorkDocs ، يرجى الرجوع إلى ملف temenos.nql لإلقاء البيانات.

psql -U postgres -d < DATABASE_NAME > -f /tmp/psql_data/temenos.sql ;

تخزين بيانات اعتماد قاعدة البيانات

انتقل إلى مدير AWS Secrets في وحدة التحكم AWS وانقر فوق Store a new secret .

في قسم Secret Type ، حدد Other type of secret

في Key/value pairs ، حدد قسم Plaintext .

املأ بيانات اعتماد قاعدة البيانات بتنسيق JSON أدناه والصق في قسم Plaintext .

{
    "host" : " DB_HOST_NAME " ,
    "username" : " DB_USERNAME " ,
    "password" : " DB_PASSWORD " ,
    "engine" : " postgresql " ,
    "port" : " DB_PORT " ,
    "dbname" : " DB_NAME "
}

أدخل الاسم السري وإنشاء السر. انسخ ARN والصقه في RDS_SECRETS_MANAGER_ARN كقيمة لمتغير البيئة.

نشر ECS

يرجى الرجوع إلى هذا البرنامج التعليمي: نشر حاويات Docker مع AWS ECS & Fargate