tableQA

tableqa

Tabular Dataで自然言語を照会するためのAIツール。トランスからQAモデルを使用して構築されています。

この作業については、次の論文で説明しています。
TableQuery：Abhijith Neil Abraham、Fariz Rahman、Damanpreet Kaurによる、自然言語で表形式データをクエリする。
TableQAを使用する場合は、論文を引用してください。

これがどのように機能するかを理解するための詳細なブログです。

表形式のデータは次のとおりです。

• データフレーム
• CSVファイル

。
。

特徴

• 複数のCSVからの検出をサポートします（CSVはAmazon S3から読むこともできます）
• ファジストリングの実装をサポートします。 IEでは、クエリの不完全な列値を自動的に検出してクエリに入力できます。
• サポートデータベース-SQLITE、POSTGRESQL、MYSQL、Amazon RDS（PostgreSQL、MySQL）。
• オープンドメイン、トレーニングは必要ありません。
• カスタマイズされたエクスペリエンスのために手動スキーマを追加します
• スキーマが提供されていない場合の自動生成スキーマ
• データの視覚化。

サポートされている操作。

• 選択します
  • 1つの列
  • 複数の列
  • すべての列
  • 集約関数
  • 明確な選択
    • カウントセレクト
    • 合計選択
    • Avg-Select
    • 最小選択
    • Max-Select
• どこ
  • 1つの条件
  • 複数の条件
  • オペレーター
    • 平等な演算子
    • より大きなオペレーター
    • オペレーターよりも少ない
    • オペレーター間

構成：

PIP経由でインストール：

pip install tableqa

ソースからのインストール：

git clone https://github.com/abhijithneilabraham/tableQA

cd tableqa

python setup.py install

クイックスタート

サンプルクエリを実行します

 from tableqa.agent import Agent
agent=Agent(df) #input your dataframe
response=agent.query_db("Your question here")
print(response)

質問からSQLクエリを取得します

 sql=agent.get_query("Your question here")  
print(sql) #returns an sql query

手動スキーマの追加

スキーマ形式：

 {
    "name": DATABASE NAME,
    "keywords":[DATABASE KEYWORDS],
    "columns":
    [
        {
        "name": COLUMN 1 NAME,
        "mapping":{
            CATEGORY 1: [CATEGORY 1 KEYWORDS],
            CATEGORY 2: [CATEGORY 2 KEYWORDS]
        }

        },
        {
        "name": COLUMN 2 NAME,
        "keywords": [COLUMN 2 KEYWORDS]
        },
        {
        "name": "COLUMN 3 NAME",
        "keywords": [COLUMN 3 KEYWORDS],
        "summable":"True"
        }
    ]
}

• マッピングは、区別クラスがほとんどない値を持つ列のためのものです。
• 手動キーワードまたはマッピングが必要な列名のみを含めます。restは自動誘発されます。
• summable 、値がすでにカウントされている数値型列に含まれています。例えば。 Death Count,Casesなどは、すでにカウントを表す値を構成します。

例（手動スキーマ付き）：

データベースクエリ

• デフォルトデータベース-SQLite（ファイルベースのデータベースでは、個別の接続を作成する必要はありません。）

 from tableqa.agent import Agent
agent=Agent(df,schema) #pass the dataframe and schema objects
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• PostgreSQLを使用するには、PostgreSQLサーバーをインストールしてローカルで実行する必要があります。 postgreSQLをダウンロードするには、ページにアクセスしてください。

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• MySQLを使用するには、MySQLサーバーをインストールしてローカルで実行する必要があります。 mysqlをダウンロードするには、ページにアクセスしてください。

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'mysql', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• Amazon RDSでPostgreSQLまたはMySQLを使用するには、Amazon RDSでデータベースを作成する必要があります。 RDSは、AWSの外部からの接続を可能にするセキュリティグループを備えた公開サブネットにある必要があります。

ドキュメントのステップ1を参照して、Amazon RDSでMySQL DBインスタンスを作成します。 [エンジン]タブでPostgreSQLを選択して、PostgreSQL DBインスタンスを作成するために同じ手順に従うことができます。 Amazon RDSのデータベース接続の詳細からユーザー名、パスワード、データベース、エンドポイント、およびポートを取得します。

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='Master username', password='Master password', database='DB name', host='Endpoint', port='Port', aws_db=True)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

SQLクエリ

 sql=agent.get_query("How many people died of stomach cancer in 2011")
print(sql)
#sql query: SELECT SUM(Death_Count) FROM cancer_death WHERE Cancer_site = "Stomach" AND Year = "2011"

複数のCSV

• それぞれCSVとスキーマを含むディレクトリの絶対パスを渡します。例については、cleaned_dataとスキーマを参照してください。

例

• ローカルマシンからCSVとスキーマを読む -

 csv_path="/content/tableQA/tableqa/cleaned_data"
schema_path="/content/tableQA/tableqa/schema"
agent=Agent(csv_path,schema_path)

• Amazon S3からCSVおよびスキーマファイルを読む -

1. Amazon S3にバケツを作成します。
2. オブジェクトをバケットにアップロードします。
3. IAMユーザーを作成し、Amazon S3ストレージから読み取りファイルへのアクセスを提供します。
4. ユーザーのアクセスキーとシークレットアクセスキーを取得し、エージェントへの引数として渡します。

 csv_path="s3://{bucket}/cleaned_data"
schema_path="s3://{bucket}/schema"
agent = Agent(csv_path, schema_path, aws_s3=True, access_key_id=access_key_id, secret_access_key=secret_access_key)

参加しませんか

ワークスペースに参加：Slack