tableQA

Tableqa

Alat AI untuk meminta bahasa alami pada data tabel. Dibangun menggunakan model QA dari Transformers.

Pekerjaan ini dijelaskan dalam makalah berikut:
TableQuery: Meminta data tabular dengan bahasa alami, oleh Abhijith Neil Abraham, Fariz Rahman dan Damanpreet Kaur.
Jika Anda menggunakan Tableqa, silakan mengutip kertas.

Berikut adalah blog terperinci untuk memahami cara kerjanya.

Data tabel dapat berupa:

• DataFrames
• File CSV

.
.

Fitur

• Deteksi Dukungan dari beberapa CSV (CSV juga dapat dibaca dari Amazon S3)
• Mendukung implementasi fuzzystring. yaitu, nilai kolom yang tidak lengkap dalam kueri dapat secara otomatis terdeteksi dan diisi dalam kueri.
• Mendukung Basis Data - SQLite, PostgreSQL, MySQL, Amazon RDS (PostgreSQL, MySQL).
• Domain terbuka, tidak diperlukan pelatihan.
• Tambahkan skema manual untuk pengalaman khusus
• Skema generat otomatis dalam kasus skema tidak disediakan
• Visualisasi data.

Operasi yang Didukung.

• MEMILIH
  • satu kolom
  • Beberapa kolom
  • Semua kolom
  • fungsi agregat
  • terpilih berbeda
    • Count-Select
    • sum-select
    • Pilih rata-rata
    • Min-Select
    • Max-Select
• DI MANA
  • satu kondisi
  • beberapa kondisi
  • operator
    • operator yang sama
    • Operator yang lebih besar
    • Operator yang kurang dari
    • antara operator

Konfigurasi:

Instal via PIP:

pip install tableqa

menginstal dari sumber:

git clone https://github.com/abhijithneilabraham/tableQA

cd tableqa

python setup.py install

QuickStart

Lakukan kueri sampel

 from tableqa.agent import Agent
agent=Agent(df) #input your dataframe
response=agent.query_db("Your question here")
print(response)

Dapatkan kueri SQL dari pertanyaan

 sql=agent.get_query("Your question here")  
print(sql) #returns an sql query

Menambahkan skema manual

Format Skema:

 {
    "name": DATABASE NAME,
    "keywords":[DATABASE KEYWORDS],
    "columns":
    [
        {
        "name": COLUMN 1 NAME,
        "mapping":{
            CATEGORY 1: [CATEGORY 1 KEYWORDS],
            CATEGORY 2: [CATEGORY 2 KEYWORDS]
        }

        },
        {
        "name": COLUMN 2 NAME,
        "keywords": [COLUMN 2 KEYWORDS]
        },
        {
        "name": "COLUMN 3 NAME",
        "keywords": [COLUMN 3 KEYWORDS],
        "summable":"True"
        }
    ]
}

• Pemetaan adalah untuk kolom -kolom yang nilainya hanya memiliki beberapa kelas berbeda.
• Sertakan hanya nama kolom yang perlu memiliki kata kunci atau pemetaan manual.
• summable disertakan untuk kolom tipe numerik yang nilainya sudah menghitung representasi. Misalnya. Death Count,Cases dll. Terdiri dari nilai yang sudah mewakili penghitungan.

Contoh (dengan skema manual):

Kueri basis data

• Database Default - SQLite (database berbasis file, tidak memerlukan pembuatan koneksi terpisah.)

 from tableqa.agent import Agent
agent=Agent(df,schema) #pass the dataframe and schema objects
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• Untuk menggunakan PostgreSQL, Anda harus menginstal server PostgreSQL dan berjalan di lokal Anda. Untuk mengunduh PostgreSQL, kunjungi halaman.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• Untuk menggunakan MySQL, Anda harus menginstal server MySQL dan berjalan di lokal Anda. Untuk mengunduh MySQL, kunjungi halaman.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'mysql', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• Untuk menggunakan PostgreSQL atau MySQL di Amazon RDS, Anda harus membuat database di Amazon RDS. RDS harus berada di subnet publik dengan kelompok keamanan yang memungkinkan koneksi dari luar AWS.

Lihat langkah 1 di dokumen untuk membuat instance MySQL DB di Amazon RDS. Langkah -langkah yang sama dapat diikuti untuk membuat instance DB PostgreSQL dengan memilih PostgreSQL di tab Engine. Dapatkan nama pengguna, kata sandi, database, titik akhir, dan port dari detail koneksi database Anda di Amazon RDS.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='Master username', password='Master password', database='DB name', host='Endpoint', port='Port', aws_db=True)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

Kueri SQL

 sql=agent.get_query("How many people died of stomach cancer in 2011")
print(sql)
#sql query: SELECT SUM(Death_Count) FROM cancer_death WHERE Cancer_site = "Stomach" AND Year = "2011"

Beberapa CSV

• Lewati jalur absolut dari direktori masing -masing yang mengandung CSV dan skema. Rujuk Cleaned_data dan skema untuk contoh.

Contoh

• Baca CSV dan skema dari mesin lokal-

 csv_path="/content/tableQA/tableqa/cleaned_data"
schema_path="/content/tableQA/tableqa/schema"
agent=Agent(csv_path,schema_path)

• Baca file CSV dan skema dari Amazon S3 -

1. Buat ember di Amazon S3.
2. Unggah objek ke ember.
3. Buat Pengguna IAM dan berikan aksesnya untuk membaca file dari Penyimpanan Amazon S3.
4. Dapatkan kunci akses dan kunci akses rahasia untuk pengguna dan berikan sebagai argumen kepada agen.

 csv_path="s3://{bucket}/cleaned_data"
schema_path="s3://{bucket}/schema"
agent = Agent(csv_path, schema_path, aws_s3=True, access_key_id=access_key_id, secret_access_key=secret_access_key)

Bergabunglah dengan kami

Bergabunglah dengan ruang kerja kami: Slack