tableQA

TableQa

Tabular Data에서 자연 언어를 쿼리하기위한 AI 도구. 변압기의 QA 모델을 사용하여 빌드.

이 작업은 다음 논문에 설명되어 있습니다.
TableQuery : Abhijith Neil Abraham, Fariz Rahman 및 Damanpreet Kaur의 자연 언어로 테이블 데이터 쿼리.
TableQA를 사용하는 경우 종이를 인용하십시오.

다음은 이것이 어떻게 작동하는지 이해하는 자세한 블로그입니다.

표 형 데이터는 다음과 같습니다.

• 데이터 프레임
• CSV 파일

.
.

특징

• 여러 CSV의 감지를 지원합니다 (CSV는 Amazon S3에서도 읽을 수 있습니다).
• 퍼지 스트링 구현을 지원합니다. 즉, 쿼리의 불완전한 열 값을 쿼리에서 자동으로 감지하고 채울 수 있습니다.
• 데이터베이스 - SQLITE, PostgreSQL, MySQL, Amazon RDS (PostgreSQL, MySQL)를 지원합니다.
• 오픈 도메인, 훈련이 필요하지 않습니다.
• 맞춤형 경험을 위해 수동 스키마를 추가하십시오
• 스키마가 제공되지 않은 경우 자동 생성 스키마
• 데이터 시각화.

지원되는 운영.

• 선택하다
  • 하나의 열
  • 여러 열
  • 모든 열
  • 집계 기능
  • 독특한 선택
    • 카운트-선택
    • Sum-Select
    • avg-select
    • 최소 선택
    • MAX-SELECT
• 어디
  • 하나의 조건
  • 여러 조건
  • 운영자
    • 동등한 연산자
    • 더 큰 운영자
    • 덜 운영자
    • 연산자 사이

구성:

PIB를 통해 설치 :

pip install tableqa

소스에서 설치 :

git clone https://github.com/abhijithneilabraham/tableQA

cd tableqa

python setup.py install

QuickStart

샘플 쿼리를 수행하십시오

 from tableqa.agent import Agent
agent=Agent(df) #input your dataframe
response=agent.query_db("Your question here")
print(response)

질문에서 SQL 쿼리를 받으십시오

 sql=agent.get_query("Your question here")  
print(sql) #returns an sql query

수동 스키마 추가

스키마 형식 :

 {
    "name": DATABASE NAME,
    "keywords":[DATABASE KEYWORDS],
    "columns":
    [
        {
        "name": COLUMN 1 NAME,
        "mapping":{
            CATEGORY 1: [CATEGORY 1 KEYWORDS],
            CATEGORY 2: [CATEGORY 2 KEYWORDS]
        }

        },
        {
        "name": COLUMN 2 NAME,
        "keywords": [COLUMN 2 KEYWORDS]
        },
        {
        "name": "COLUMN 3 NAME",
        "keywords": [COLUMN 3 KEYWORDS],
        "summable":"True"
        }
    ]
}

• 매핑은 값이 별개의 클래스 만있는 열을위한 것입니다.
• 수동 키워드 또는 매핑이 필요한 열 이름 만 포함하십시오.
• 값이 이미 카운트 표현 인 숫자 유형 열에 대해서는 summable 가능합니다. 예를 들어. Death Count,Cases 등은 이미 카운트를 나타내는 값으로 구성됩니다.

예제 (수동 스키마 포함) :

데이터베이스 쿼리

• 기본 데이터베이스 -SQLITE (파일 기반 데이터베이스, 별도의 연결을 생성 할 필요가 없습니다.)

 from tableqa.agent import Agent
agent=Agent(df,schema) #pass the dataframe and schema objects
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• PostgreSQL을 사용하려면 로컬에 PostgreSQL 서버를 설치하고 실행해야합니다. PostgreSQL을 다운로드하려면 페이지를 방문하십시오.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• MySQL을 사용하려면 로컬에 MySQL 서버를 설치하고 실행해야합니다. MySQL을 다운로드하려면 페이지를 방문하십시오.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'mysql', username='username', password='password', database='DBname', host='localhost', port=5432, aws_db=False)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

• Amazon RDS에서 PostgreSQL 또는 MySQL을 사용하려면 Amazon RDS에서 데이터베이스를 작성해야합니다. RDS는 AWS 외부의 연결을 허용하는 보안 그룹과 함께 공개 서브넷에 있어야합니다.

Amazon RDS에서 MySQL DB 인스턴스를 작성하려면 문서의 1 단계를 참조하십시오. 엔진 탭에서 PostgreSQL을 선택하여 PostgreSQL DB 인스턴스를 생성하기 위해 동일한 단계를 따라갈 수 있습니다. Amazon RDS의 데이터베이스 연결 세부 정보에서 사용자 이름, 비밀번호, 데이터베이스, 엔드 포인트 및 포트를 얻습니다.

 from tableqa.agent import Agent
agent = Agent(df, schema_file, 'postgres', username='Master username', password='Master password', database='DB name', host='Endpoint', port='Port', aws_db=True)
response=agent.query_db("how many people died of stomach cancer in 2011")
print(response)
#Response =[(22,)]

SQL 쿼리

 sql=agent.get_query("How many people died of stomach cancer in 2011")
print(sql)
#sql query: SELECT SUM(Death_Count) FROM cancer_death WHERE Cancer_site = "Stomach" AND Year = "2011"

여러 CSV

• CSV와 스키마를 포함하는 디렉토리의 절대 경로를 통과하십시오. 예제는 cleaned_data 및 schema를 참조하십시오.

예

• 로컬 머신에서 CSV 및 스키마를 읽으십시오.

 csv_path="/content/tableQA/tableqa/cleaned_data"
schema_path="/content/tableQA/tableqa/schema"
agent=Agent(csv_path,schema_path)

• Amazon S3에서 CSV 및 스키마 파일을 읽으십시오.

1. Amazon S3에서 버킷을 만듭니다.
2. 물체를 버킷에 업로드하십시오.
3. IAM 사용자를 생성하고 Amazon S3 스토리지에서 읽기 파일에 대한 액세스를 제공합니다.
4. 사용자의 액세스 키 및 비밀 액세스 키를 얻고 에이전트에게 인수로 전달하십시오.

 csv_path="s3://{bucket}/cleaned_data"
schema_path="s3://{bucket}/schema"
agent = Agent(csv_path, schema_path, aws_s3=True, access_key_id=access_key_id, secret_access_key=secret_access_key)

우리와 함께하십시오

작업 공간에 가입하십시오 : 슬랙