tableQA

Tableqa

Herramienta AI para consultar el lenguaje natural en datos tabulares. Construido con los modelos de control de calidad de los transformadores.

Este trabajo se describe en el siguiente documento:
Tablequery: consulta datos tabulares con lenguaje natural, por Abhijith Neil Abraham, Fariz Rahman y Damanpreet Kaur.
Si usa TableQa, cita el papel.

Aquí hay un blog detallado para comprender cómo funciona esto.

Un datos tabulares puede ser:

• Marcos de datos
• Archivos CSV

.
.

Características

• Admite la detección de múltiples CSV (CSVS también se puede leer de Amazon S3)
• Admite la implementación de FuzzyString. es decir, los valores de columna incompletos en la consulta se pueden detectar y llenar automáticamente la consulta.
• Admite bases de datos: SQLite, PostgreSQL, MySQL, Amazon RDS (PostgreSQL, MySQL).
• Dominio abierto, no se requiere capacitación.
• Agregar esquema manual para la experiencia personalizada
• Esquemas de generación automática en caso de que no se proporcione el esquema
• Visualizaciones de datos.

Operaciones compatibles.

• SELECCIONAR
  • una columna
  • múltiples columnas
  • todas las columnas
  • funciones agregadas
  • Selección distintiva
    • con cuenta seleccionar
    • suma-selección
    • Avg-selección
    • mínimo
    • seleccionado por el máximo
• DÓNDE
  • una condición
  • múltiples condiciones
  • operadores
    • operador igual
    • operador más grande que
    • operador menos que operador
    • Entre el operador

Configuración:

Instalar a través de PIP:

pip install tableqa

Instalación desde la fuente:

git clone https://github.com/abhijithneilabraham/tableQA

cd tableqa

python setup.py install

Inicio rápido

Hacer una consulta de muestra

 from tableqa.agent import Agent
agent=Agent(df) #input your dataframe
response=agent.query_db("Your question here")
print(response)

Obtenga una consulta SQL de la pregunta

 sql=agent.get_query("Your question here")  
print(sql) #returns an sql query

Agregar esquema manual

Formato de esquema:

 {
    "name": DATABASE NAME,
    "keywords":[DATABASE KEYWORDS],
    "columns":
    [
        {
        "name": COLUMN 1 NAME,
        "mapping":{
            CATEGORY 1: [CATEGORY 1 KEYWORDS],
            CATEGORY 2: [CATEGORY 2 KEYWORDS]
        }

        },
        {
        "name": COLUMN 2 NAME,
        "keywords": [COLUMN 2 KEYWORDS]
        },
        {
        "name": "COLUMN 3 NAME",
        "keywords": [COLUMN 3 KEYWORDS],
        "summable":"True"
        }
    ]
}

• Las asignaciones son para aquellas columnas cuyos valores tienen solo unas pocas clases distintas.
• Incluya solo los nombres de columnas que necesitan tener palabras clave o asignaciones manuales.
• Se incluye summable para columnas de tipo numérico cuyos valores ya son representaciones de conteo. P.ej. Death Count,Cases , etc. consiste en valores que ya representan un recuento.

Ejemplo (con esquema manual):

Consulta de la base de datos

• Base de datos predeterminada: SQLite (base de datos basada en archivos, no requiere la creación de una conexión separada).

 from tableqa.agent import Agent
agent=Agent(df,schema) #pass the dataframe and schema objects
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• Para usar PostgreSQL, debe tener un servidor PostgreSQL instalado y ejecutado en su local. Para descargar PostgreSQL, visite la página.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• Para usar MySQL, debe tener un servidor MySQL instalado y ejecutado en su local. Para descargar MySQL, visite la página.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'mysql', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• Para usar PostgreSQL o MySQL en Amazon RDS, debe crear una base de datos en Amazon RDS. El RDS debe estar en la subred pública con grupos de seguridad que permitan conexiones desde fuera de AWS.

Consulte el paso 1 en el documento para crear una instancia de MySQL DB en Amazon RDS. Se pueden seguir los mismos pasos para crear una instancia de DB PostgreSQL seleccionando PostgreSQL en la pestaña del motor. Obtenga el nombre de usuario, la contraseña, la base de datos, el punto final y el puerto de los detalles de conexión de su base de datos en Amazon RDS.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='Master username', password='Master password', database='DB name', host='Endpoint', port='Port', aws_db=True)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

Consulta SQL

 sql=agent.get_query("How many people died of stomach cancer in 2011")
print(sql)
#sql query: SELECT SUM(Death_Count) FROM cancer_death WHERE Cancer_site = "Stomach" AND Year = "2011"

Múltiples csvs

• Pase el camino absoluto de los directorios que contienen los CSV y los esquemas respectivamente. Consulte Cleaned_Data y Schema para ver ejemplos.

Ejemplo

• Leer CSV y esquema de la máquina local-

 csv_path="/content/tableQA/tableqa/cleaned_data"
schema_path="/content/tableQA/tableqa/schema"
agent=Agent(csv_path,schema_path)

• Lea los archivos de CSV y esquema de Amazon S3 -

1. Crea un cubo en Amazon S3.
2. Cargue objetos al cubo.
3. Cree un usuario de IAM y proporcione acceso a archivos de lectura desde Amazon S3 Storage.
4. Obtenga la clave de acceso y la clave de acceso secreto para el usuario y paselo como argumento al agente.

 csv_path="s3://{bucket}/cleaned_data"
schema_path="s3://{bucket}/schema"
agent = Agent(csv_path, schema_path, aws_s3=True, access_key_id=access_key_id, secret_access_key=secret_access_key)

Unirse a nosotros

Únete a nuestro espacio de trabajo: Slack