tableQA

Tableqa

Инструмент AI для запроса естественного языка на табличных данных. Способно использование моделей QA из трансформаторов.

Эта работа описана в следующей статье:
TableQuery: запрос табличных данных с естественным языком, Абхиджитом Нилом Абрахамом, Фарисом Рахманом и Даманпритом Каур.
Если вы используете TableQA, пожалуйста, цитируйте бумагу.

Вот подробный блог, чтобы понять, как это работает.

Табличные данные могут быть:

• DataFrames
• CSV -файлы

Полем
Полем

Функции

• Поддерживает обнаружение из нескольких CSV (CSVS также можно прочитать от Amazon S3)
• Поддерживает реализацию FuzzySring. т.е. неполные значения столбцов в запросе могут быть автоматически обнаружены и заполнены в запросе.
• Поддерживает базы данных - SQLite, PostgreSQL, MySQL, Amazon RDS (PostgreSQL, MySQL).
• Открытый домен, обучение не требуется.
• Добавить ручную схему для индивидуального опыта
• Автоматические схемы на случай, если схема не предоставлена
• Визуализация данных.

Поддерживаемые операции.

• ВЫБИРАТЬ
  • одна колонка
  • несколько столбцов
  • все столбцы
  • совокупные функции
  • Отличный выбор
    • счет-граф
    • Сумма сбрать
    • AVG-SELECT
    • мин-выбор
    • максимальный выбор
• ГДЕ
  • одно условие
  • несколько условий
  • операторы
    • Равный оператор
    • Больше, чем оператор
    • Меньше, чем оператор
    • между оператором

Конфигурация:

Установите через PIP:

pip install tableqa

Установка из источника:

git clone https://github.com/abhijithneilabraham/tableQA

cd tableqa

python setup.py install

QuickStart

Сделайте образец запроса

 from tableqa.agent import Agent
agent=Agent(df) #input your dataframe
response=agent.query_db("Your question here")
print(response)

Получите запрос SQL от вопроса

 sql=agent.get_query("Your question here")  
print(sql) #returns an sql query

Добавление ручной схемы

Формат схемы:

 {
    "name": DATABASE NAME,
    "keywords":[DATABASE KEYWORDS],
    "columns":
    [
        {
        "name": COLUMN 1 NAME,
        "mapping":{
            CATEGORY 1: [CATEGORY 1 KEYWORDS],
            CATEGORY 2: [CATEGORY 2 KEYWORDS]
        }

        },
        {
        "name": COLUMN 2 NAME,
        "keywords": [COLUMN 2 KEYWORDS]
        },
        {
        "name": "COLUMN 3 NAME",
        "keywords": [COLUMN 3 KEYWORDS],
        "summable":"True"
        }
    ]
}

• Сопоставления предназначены для тех столбцов, значения которых имеют только несколько различных классов.
• Включите только названия столбцов, которые должны иметь ручные ключевые слова или сопоставления.
• summable включен для столбцов числовых типов, значения которых уже являются представлениями. Например. Death Count,Cases и т. Д. Состоит значения, которые уже представляют собой счет.

Пример (с ручной схемой):

Запрос базы данных

• База данных по умолчанию - SQLite (база данных на основе файлов, не требует создания отдельного соединения.)

 from tableqa.agent import Agent
agent=Agent(df,schema) #pass the dataframe and schema objects
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• Чтобы использовать PostgreSQL, вы должны установить сервер PostgreSQL и работать на вашем локале. Чтобы скачать PostgreSQL, посетите страницу.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• Чтобы использовать MySQL, у вас должен быть установлен сервер MySQL и работа на локале. Чтобы скачать MySQL, посетите страницу.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'mysql', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• Чтобы использовать PostgreSQL или MySQL на Amazon RDS, вы должны создать базу данных на Amazon RDS. RDS должен быть в общедоступной подсети с группами безопасности, позволяющих соединениям извне AWS.

Обратитесь к шагу 1 в документе, чтобы создать экземпляр MySQL DB на Amazon RDS. Те же шаги могут быть выполнены для создания экземпляра DB PostgreSQL, выбирая PostgreSQL на вкладке Engine. Получите имя пользователя, пароль, базу данных, конечную точку и порт из подключения к базе данных на Amazon RDS.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='Master username', password='Master password', database='DB name', host='Endpoint', port='Port', aws_db=True)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

SQL запрос

 sql=agent.get_query("How many people died of stomach cancer in 2011")
print(sql)
#sql query: SELECT SUM(Death_Count) FROM cancer_death WHERE Cancer_site = "Stomach" AND Year = "2011"

Несколько CSV

• Передайте абсолютный путь каталогов, содержащих CSV и схемы соответственно. См. Cleaned_data и схема для примеров.

Пример

• Прочитайте CSV и схему от локальной машины-

 csv_path="/content/tableQA/tableqa/cleaned_data"
schema_path="/content/tableQA/tableqa/schema"
agent=Agent(csv_path,schema_path)

• Прочитайте файлы CSV и схемы от Amazon S3 -

1. Создайте ведро на Amazon S3.
2. Загрузите объекты в ведро.
3. Создайте пользователя IAM и предоставьте ему доступ к чтению файлов из Amazon S3 Storage.
4. Получите ключ доступа и секретный ключ доступа для пользователя и передайте его в качестве аргумента агенту.

 csv_path="s3://{bucket}/cleaned_data"
schema_path="s3://{bucket}/schema"
agent = Agent(csv_path, schema_path, aws_s3=True, access_key_id=access_key_id, secret_access_key=secret_access_key)

Присоединяйтесь к нам

Присоединяйтесь к нашему рабочее пространство: Slack