tableQA

Tabelaqa

Ferramenta de IA para consultar a linguagem natural sobre dados tabulares. Built usando modelos de controle de qualidade de Transformers.

Este trabalho é descrito no seguinte artigo:
TableQuery: Consultando dados tabulares com linguagem natural, por Abhijith Neil Abraham, Fariz Rahman e Damanpreet Kaur.
Se você usar o TabelaQA, cite o papel.

Aqui está um blog detalhado para entender como isso funciona.

Os dados tabulares podem ser:

• DataFrames
• Arquivos CSV

.
.

Características

• Suporta a detecção de vários CSVs (os CSVs também podem ser lidos na Amazon S3)
• Suporta a implementação do Fuzzystring. ou seja, os valores incompletos da coluna na consulta podem ser detectados e preenchidos automaticamente na consulta.
• Suporta bancos de dados - SQLite, PostgreSQL, MySQL, Amazon RDS (PostgreSQL, MySQL).
• Domínio aberto, nenhum treinamento necessário.
• Adicionar esquema manual para experiência personalizada
• Esquemas de Gerados Auto-Gerados, caso o esquema não fornecido
• Visualização de dados.

Operações suportadas.

• Selecione
  • uma coluna
  • várias colunas
  • todas as colunas
  • funções agregadas
  • Selecionar distinto
    • Count-Select
    • SUM-SELECT
    • AVG-SELECT
    • Min-Select
    • MAX-SELECT
• ONDE
  • uma condição
  • múltiplas condições
  • operadores
    • operador igual
    • Operador maior do que o que
    • Operador menos do que
    • entre operador

Configuração:

Instale via PIP:

pip install tableqa

Instalando a partir da fonte:

git clone https://github.com/abhijithneilabraham/tableQA

cd tableqa

python setup.py install

Investir rápido

Faça uma amostra de consulta

 from tableqa.agent import Agent
agent=Agent(df) #input your dataframe
response=agent.query_db("Your question here")
print(response)

Obtenha uma consulta SQL da pergunta

 sql=agent.get_query("Your question here")  
print(sql) #returns an sql query

Adicionando esquema manual

Formato de esquema:

 {
    "name": DATABASE NAME,
    "keywords":[DATABASE KEYWORDS],
    "columns":
    [
        {
        "name": COLUMN 1 NAME,
        "mapping":{
            CATEGORY 1: [CATEGORY 1 KEYWORDS],
            CATEGORY 2: [CATEGORY 2 KEYWORDS]
        }

        },
        {
        "name": COLUMN 2 NAME,
        "keywords": [COLUMN 2 KEYWORDS]
        },
        {
        "name": "COLUMN 3 NAME",
        "keywords": [COLUMN 3 KEYWORDS],
        "summable":"True"
        }
    ]
}

• Os mapeamentos são para as colunas cujos valores têm apenas poucas classes distintas.
• Inclua apenas os nomes das colunas que precisam ter palavras -chave manuais ou mapeamentos.
• summable está incluído para colunas do tipo numérico cujos valores já são representações de contagem. Por exemplo. Death Count,Cases etc. consiste em valores que já representam uma contagem.

Exemplo (com esquema manual):

Consulta de banco de dados

• Banco de dados padrão - SQLite (banco de dados baseado em arquivo, não requer a criação de uma conexão separada.)

 from tableqa.agent import Agent
agent=Agent(df,schema) #pass the dataframe and schema objects
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• Para usar o PostgreSQL, você deve ter um servidor PostgreSQL instalado e executando no seu local. Para baixar o PostGresql, visite a página.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• Para usar o MySQL, você deve ter um servidor MySQL instalado e executando no seu local. Para baixar o MySQL, visite a página.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'mysql', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• Para usar o PostGresql ou o MySQL no Amazon RDS, você deve criar um banco de dados no Amazon RDS. O RDS deve estar em sub -rede pública com grupos de segurança, permitindo conexões de fora da AWS.

Consulte a Etapa 1 no documento para criar uma instância do MySQL DB no Amazon RDS. As mesmas etapas podem ser seguidas para criar uma instância do PostgreSQL DB selecionando o PostGresql na guia Engine. Obtenha o nome de usuário, senha, banco de dados, endpoint e porta dos detalhes de conexão do banco de dados no Amazon RDS.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='Master username', password='Master password', database='DB name', host='Endpoint', port='Port', aws_db=True)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

Consulta SQL

 sql=agent.get_query("How many people died of stomach cancer in 2011")
print(sql)
#sql query: SELECT SUM(Death_Count) FROM cancer_death WHERE Cancer_site = "Stomach" AND Year = "2011"

Vários CSVs

• Passe o caminho absoluto dos diretórios que contêm os CSVs e os esquemas, respectivamente. Consulte LIMPED_DATA e SCHEMA PARA EXEMPLOS.

Exemplo

• Leia o CSV e o esquema da máquina local-

 csv_path="/content/tableQA/tableqa/cleaned_data"
schema_path="/content/tableQA/tableqa/schema"
agent=Agent(csv_path,schema_path)

• Leia os arquivos de CSV e esquema da Amazon S3 -

1. Crie um balde na Amazon S3.
2. Carregue objetos para o balde.
3. Crie um usuário do IAM e forneça acesso para ler arquivos do Amazon S3 Storage.
4. Obtenha a chave de acesso e a chave de acesso secreto para o usuário e passe -a como um argumento para o agente.

 csv_path="s3://{bucket}/cleaned_data"
schema_path="s3://{bucket}/schema"
agent = Agent(csv_path, schema_path, aws_s3=True, access_key_id=access_key_id, secret_access_key=secret_access_key)

Junte-se a nós

Junte -se ao nosso espaço de trabalho: Slack