tableQA

tableqa

AI工具用於在表格數據上查詢自然語言。使用變壓器的QA模型構建。

這項工作在以下論文中描述：
表格：用自然語言查詢表格數據，作者：Abhijith Neil Abraham，Fariz Rahman和Damanpreet Kaur。
如果您使用TableQA，請引用紙張。

這是一個詳細的博客，可以理解它的工作原理。

表格數據可以是：

• 數據范圍
• CSV文件

。
。

特徵

• 支持多個CSV的檢測（CSV也可以從Amazon S3讀取）
• 支持模糊實現。 IE，可以在查詢中自動檢測並填充查詢中的不完整列值。
• 支持數據庫-SQLITE，PostgreSQL，MySQL，Amazon RDS（PostgreSQL，MySQL）。
• 開放域，無需培訓。
• 添加手冊模式以供定制體驗
• 如果未提供模式，則自動生成模式
• 數據可視化。

支持操作。

• 選擇
  • 一列
  • 多列
  • 所有列
  • 聚合功能
  • 獨特的選擇
    • 計數選擇
    • 匯總
    • AVG選擇
    • 最小選擇
    • 最大選擇
• 在哪裡
  • 一個條件
  • 多種條件
  • 操作員
    • 平等操作員
    • 大於運營商
    • 不如操作員
    • 在操作員之間

配置：

通過PIP安裝：

pip install tableqa

來源安裝：

git clone https://github.com/abhijithneilabraham/tableQA

cd tableqa

python setup.py install

Quickstart

做樣本查詢

 from tableqa.agent import Agent
agent=Agent(df) #input your dataframe
response=agent.query_db("Your question here")
print(response)

從問題中獲取SQL查詢

 sql=agent.get_query("Your question here")  
print(sql) #returns an sql query

添加手動模式

模式格式：

 {
    "name": DATABASE NAME,
    "keywords":[DATABASE KEYWORDS],
    "columns":
    [
        {
        "name": COLUMN 1 NAME,
        "mapping":{
            CATEGORY 1: [CATEGORY 1 KEYWORDS],
            CATEGORY 2: [CATEGORY 2 KEYWORDS]
        }

        },
        {
        "name": COLUMN 2 NAME,
        "keywords": [COLUMN 2 KEYWORDS]
        },
        {
        "name": "COLUMN 3 NAME",
        "keywords": [COLUMN 3 KEYWORDS],
        "summable":"True"
        }
    ]
}

• 映射是針對那些值僅具有少數不同類別的列的。
• 僅包含需要手動關鍵字或映射的列名。即將自動化。
• 對於數字類型列的summable ，其值已經是計數表示。例如。 Death Count,Cases等是已經代表計數的值。

示例（使用手動模式）：

數據庫查詢

• 默認數據庫-SQLITE（基於文件的數據庫，不需要創建單獨的連接。）

 from tableqa.agent import Agent
agent=Agent(df,schema) #pass the dataframe and schema objects
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• 要使用PostgreSQL，您必須在本地安裝並運行PostgreSQL Server。要下載PostgreSQL，請訪問頁面。

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• 要使用MySQL，您必須在本地安裝MySQL服務器並運行。要下載MySQL，請訪問頁面。

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'mysql', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• 要在Amazon RDS上使用PostgreSQL或MySQL，必須在Amazon RDS上創建數據庫。 RDS必須在公共子網中具有安全組，允許AWS外部連接。

請參閱文檔中的步驟1，以在Amazon RDS上創建MySQL DB實例。可以通過在“引擎”選項卡中選擇PostgreSQL來遵循相同的步驟來創建PostgreSQL DB實例。從Amazon RDS上的數據庫連接詳細信息中獲取用戶名，密碼，數據庫，端點和端口。

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='Master username', password='Master password', database='DB name', host='Endpoint', port='Port', aws_db=True)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

SQL查詢

 sql=agent.get_query("How many people died of stomach cancer in 2011")
print(sql)
#sql query: SELECT SUM(Death_Count) FROM cancer_death WHERE Cancer_site = "Stomach" AND Year = "2011"

多個CSV

• 分別通過包含CSV和模式的目錄的絕對路徑。有關示例，請參閱Cleaned_Data和架構。

例子

• 從本地機器讀取CSV和架構 -

 csv_path="/content/tableQA/tableqa/cleaned_data"
schema_path="/content/tableQA/tableqa/schema"
agent=Agent(csv_path,schema_path)

• 從Amazon S3讀取CSV和架構文件 -

1. 在Amazon S3上創建一個水桶。
2. 將對像上傳到存儲桶。
3. 創建一個IAM用戶，並提供從Amazon S3存儲中讀取文件的訪問權限。
4. 獲取用戶的訪問密鑰和秘密訪問密鑰，並將其作為參數傳遞給代理。

 csv_path="s3://{bucket}/cleaned_data"
schema_path="s3://{bucket}/schema"
agent = Agent(csv_path, schema_path, aws_s3=True, access_key_id=access_key_id, secret_access_key=secret_access_key)

加入我們

加入我們的工作區：懈怠