tableQA

Tableqa

أداة الذكاء الاصطناعى للاستعلام عن اللغة الطبيعية على البيانات الجدولية. بناء باستخدام نماذج ضمان الجودة من المحولات.

هذا العمل موصوف في الورقة التالية:
Tablequery: الاستعلام عن بيانات جدولة باللغة الطبيعية ، بقلم أبهيجيث نيل أبراهام ، فاريز الرحمن ودامانبريت كور.
إذا كنت تستخدم TableQa ، يرجى الاستشهاد بالورقة.

فيما يلي مدونة مفصلة لفهم كيفية عمل هذا.

يمكن أن تكون البيانات الجدولية:

• أسماء البيانات
• ملفات CSV

.
.

سمات

• يدعم الكشف عن CSVs متعددة (يمكن أيضًا قراءة CSVs من Amazon S3)
• يدعم تنفيذ fuzzystring. أي ، يمكن اكتشاف قيم الأعمدة غير المكتملة في الاستعلام وتملأها تلقائيًا في الاستعلام.
• يدعم قواعد البيانات - SQLite ، PostgreSQL ، MySQL ، Amazon RDS (PostgreSQL ، MySQL).
• المجال المفتوح ، لا يوجد تدريب مطلوب.
• أضف مخططًا يدويًا للتجربة المخصصة
• مخططات الوتيرة التلقائية في حالة عدم توفير المخطط
• تصور البيانات.

العمليات المدعومة.

• يختار
  • عمود واحد
  • أعمدة متعددة
  • جميع الأعمدة
  • إجمالي الوظائف
  • حدد متميز
    • العد
    • مجموع الاختيار
    • avg-select
    • دقيقة
    • الحد الأقصى للكملة
• أين
  • حالة واحدة
  • شروط متعددة
  • المشغلين
    • مشغل مساوٍ
    • أكبر من المشغل
    • مشغل أقل من
    • بين المشغل

إعدادات:

التثبيت عبر PIP:

pip install tableqa

التثبيت من المصدر:

git clone https://github.com/abhijithneilabraham/tableQA

cd tableqa

python setup.py install

Quickstart

هل عينة الاستعلام

 from tableqa.agent import Agent
agent=Agent(df) #input your dataframe
response=agent.query_db("Your question here")
print(response)

احصل على استعلام SQL من السؤال

 sql=agent.get_query("Your question here")  
print(sql) #returns an sql query

إضافة مخطط يدوي

تنسيق المخطط:

 {
    "name": DATABASE NAME,
    "keywords":[DATABASE KEYWORDS],
    "columns":
    [
        {
        "name": COLUMN 1 NAME,
        "mapping":{
            CATEGORY 1: [CATEGORY 1 KEYWORDS],
            CATEGORY 2: [CATEGORY 2 KEYWORDS]
        }

        },
        {
        "name": COLUMN 2 NAME,
        "keywords": [COLUMN 2 KEYWORDS]
        },
        {
        "name": "COLUMN 3 NAME",
        "keywords": [COLUMN 3 KEYWORDS],
        "summable":"True"
        }
    ]
}

• التعيينات مخصصة لتلك الأعمدة التي تحتوي قيمها على عدد قليل من الفئات المتميزة.
• قم بتضمين فقط أسماء الأعمدة التي تحتاج إلى وجود كلمات رئيسية يدوية أو تعيينات. سيتم تلقائي تلقائيًا.
• يتم تضمين summable لأعمدة النوع الرقمي التي تكون قيمها بالفعل تمثيلات العد. على سبيل المثال. Death Count,Cases وما إلى ذلك يتكون من القيم التي تمثل بالفعل عدد.

مثال (مع المخطط اليدوي):

استعلام قاعدة البيانات

• قاعدة البيانات الافتراضية - SQLITE (قاعدة البيانات المستندة إلى الملفات ، لا تتطلب إنشاء اتصال منفصل.)

 from tableqa.agent import Agent
agent=Agent(df,schema) #pass the dataframe and schema objects
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• لاستخدام postgresql ، يجب أن يكون لديك خادم postgreSQL مثبت وتشغيله على محليك. لتنزيل postgresql ، تفضل بزيارة الصفحة.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• لاستخدام MySQL ، يجب أن يكون لديك خادم MySQL مثبت وتشغيله على محليك. لتنزيل MySQL ، تفضل بزيارة الصفحة.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'mysql', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• لاستخدام postgreSQL أو MySQL على Amazon RDS ، يجب عليك إنشاء قاعدة بيانات على Amazon RDS. يجب أن تكون RDS في الشبكة الفرعية العامة مع مجموعات أمنية تسمح بالاتصالات من خارج AWS.

ارجع إلى الخطوة 1 في المستند لإنشاء مثيل MySQL DB على Amazon RDS. يمكن اتباع نفس الخطوات لإنشاء مثيل PostgreSQL DB عن طريق تحديد postgresql في علامة تبويب المحرك. الحصول على اسم المستخدم وكلمة المرور وقاعدة البيانات ونقطة النهاية والمنفذ من تفاصيل اتصال قاعدة البيانات الخاصة بك على Amazon RDS.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='Master username', password='Master password', database='DB name', host='Endpoint', port='Port', aws_db=True)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

استعلام SQL

 sql=agent.get_query("How many people died of stomach cancer in 2011")
print(sql)
#sql query: SELECT SUM(Death_Count) FROM cancer_death WHERE Cancer_site = "Stomach" AND Year = "2011"

CSVs متعددة

• تمرير المسار المطلق للدلائل التي تحتوي على CSVs و Schemas على التوالي. الرجوع إلى cleaned_data ومخطط للحصول على أمثلة.

مثال

• قراءة CSV والمخطط من الآلة المحلية-

 csv_path="/content/tableQA/tableqa/cleaned_data"
schema_path="/content/tableQA/tableqa/schema"
agent=Agent(csv_path,schema_path)

• اقرأ ملفات CSV و Schema من Amazon S3 -

1. إنشاء دلو على Amazon S3.
2. تحميل الكائنات على الدلو.
3. قم بإنشاء مستخدم IAM وتوفيره للوصول إلى قراءة الملفات من Amazon S3 Storage.
4. احصل على مفتاح الوصول ومفتاح الوصول السري للمستخدم وقم بتمريره كوسيطة للوكيل.

 csv_path="s3://{bucket}/cleaned_data"
schema_path="s3://{bucket}/schema"
agent = Agent(csv_path, schema_path, aws_s3=True, access_key_id=access_key_id, secret_access_key=secret_access_key)

انضم إلينا

انضم إلى مساحة عملنا: الركود