tableQA

tableqa

AI工具用于在表格数据上查询自然语言。使用变压器的QA模型构建。

这项工作在以下论文中描述：
表格：用自然语言查询表格数据，作者：Abhijith Neil Abraham，Fariz Rahman和Damanpreet Kaur。
如果您使用TableQA，请引用纸张。

这是一个详细的博客，可以理解它的工作原理。

表格数据可以是：

• 数据范围
• CSV文件

。
。

特征

• 支持多个CSV的检测（CSV也可以从Amazon S3读取）
• 支持模糊实现。 IE，可以在查询中自动检测并填充查询中的不完整列值。
• 支持数据库-SQLITE，PostgreSQL，MySQL，Amazon RDS（PostgreSQL，MySQL）。
• 开放域，无需培训。
• 添加手册模式以供定制体验
• 如果未提供模式，则自动生成模式
• 数据可视化。

支持操作。

• 选择
  • 一列
  • 多列
  • 所有列
  • 聚合功能
  • 独特的选择
    • 计数选择
    • 汇总
    • AVG选择
    • 最小选择
    • 最大选择
• 在哪里
  • 一个条件
  • 多种条件
  • 操作员
    • 平等操作员
    • 大于运营商
    • 不如操作员
    • 在操作员之间

配置：

通过PIP安装：

pip install tableqa

来源安装：

git clone https://github.com/abhijithneilabraham/tableQA

cd tableqa

python setup.py install

Quickstart

做样本查询

 from tableqa.agent import Agent
agent=Agent(df) #input your dataframe
response=agent.query_db("Your question here")
print(response)

从问题中获取SQL查询

 sql=agent.get_query("Your question here")  
print(sql) #returns an sql query

添加手动模式

模式格式：

 {
    "name": DATABASE NAME,
    "keywords":[DATABASE KEYWORDS],
    "columns":
    [
        {
        "name": COLUMN 1 NAME,
        "mapping":{
            CATEGORY 1: [CATEGORY 1 KEYWORDS],
            CATEGORY 2: [CATEGORY 2 KEYWORDS]
        }

        },
        {
        "name": COLUMN 2 NAME,
        "keywords": [COLUMN 2 KEYWORDS]
        },
        {
        "name": "COLUMN 3 NAME",
        "keywords": [COLUMN 3 KEYWORDS],
        "summable":"True"
        }
    ]
}

• 映射是针对那些值仅具有少数不同类别的列的。
• 仅包含需要手动关键字或映射的列名。即将自动化。
• 对于数字类型列的summable ，其值已经是计数表示。例如。 Death Count,Cases等是已经代表计数的值。

示例（使用手动模式）：

数据库查询

• 默认数据库-SQLITE（基于文件的数据库，不需要创建单独的连接。）

 from tableqa.agent import Agent
agent=Agent(df,schema) #pass the dataframe and schema objects
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• 要使用PostgreSQL，您必须在本地安装并运行PostgreSQL Server。要下载PostgreSQL，请访问页面。

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• 要使用MySQL，您必须在本地安装MySQL服务器并运行。要下载MySQL，请访问页面。

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'mysql', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• 要在Amazon RDS上使用PostgreSQL或MySQL，必须在Amazon RDS上创建数据库。 RDS必须在公共子网中具有安全组，允许AWS外部连接。

请参阅文档中的步骤1，以在Amazon RDS上创建MySQL DB实例。可以通过在“引擎”选项卡中选择PostgreSQL来遵循相同的步骤来创建PostgreSQL DB实例。从Amazon RDS上的数据库连接详细信息中获取用户名，密码，数据库，端点和端口。

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='Master username', password='Master password', database='DB name', host='Endpoint', port='Port', aws_db=True)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

SQL查询

 sql=agent.get_query("How many people died of stomach cancer in 2011")
print(sql)
#sql query: SELECT SUM(Death_Count) FROM cancer_death WHERE Cancer_site = "Stomach" AND Year = "2011"

多个CSV

• 分别通过包含CSV和模式的目录的绝对路径。有关示例，请参阅Cleaned_Data和架构。

例子

• 从本地机器读取CSV和架构 -

 csv_path="/content/tableQA/tableqa/cleaned_data"
schema_path="/content/tableQA/tableqa/schema"
agent=Agent(csv_path,schema_path)

• 从Amazon S3读取CSV和架构文件 -

1. 在Amazon S3上创建一个水桶。
2. 将对象上传到存储桶。
3. 创建一个IAM用户，并提供从Amazon S3存储中读取文件的访问权限。
4. 获取用户的访问密钥和秘密访问密钥，并将其作为参数传递给代理。

 csv_path="s3://{bucket}/cleaned_data"
schema_path="s3://{bucket}/schema"
agent = Agent(csv_path, schema_path, aws_s3=True, access_key_id=access_key_id, secret_access_key=secret_access_key)

加入我们

加入我们的工作区：懈怠