gap text2sql

GAP-TEXT2SQL：生成前トレーニングを使用したセマンティック解析のためのコンテキスト表現の学習

AAAI 2021ペーパーのコードとモデル

更新

[2020/02/05]独自のデータベースとクエリでモデルを実行するサポート。ノートブックをご覧ください。

抽象的な

最近では、大規模なテキストコーパスを活用して、マスクされた言語モデル（MLM）などの自己監視学習目標を備えた大規模な神経言語モデルを訓練することにより、さまざまなNLPタスクのコンテキスト表現を学習することに大きな関心が寄せられています。ただし、パイロット研究に基づいて、テキスト間セマンティックパーサーに適用される場合、既存の汎用言語モデルの3つの問題が観察されます。発話での列の言及を検出できず、セル値からの列の言及を推測できず、複雑なSQLクエリを構成できません。これらの問題を緩和するために、モデルの事前トレーニングフレームワーク、生成プリトレーニング前（GAP）を提示します。これは、生成モデルを活用してプレトレイン以前のデータを生成することにより、自然言語の発話とテーブルスキーマの表現を共同で学習します。ギャップモデルは、2mの発話界のペアと30Kの発話 - スケマSQLトリプルでトレーニングされており、その発言は生成モデルによって生成されます。実験結果に基づいて、表現エンコーダーとしてギャップモデルを活用するニューラルセマンティックパーサーは、SpiderとStreteria-to-SQLベンチマークの両方で新しい最先端の結果を取得します。

設定

conda create --name gap-text2sql python=3.7
source activate gap-text2sql
conda install pytorch=1.5 cudatoolkit=10.2 -c pytorch
pip install -r requirements.txt
python -c " import nltk; nltk.download('stopwords'); nltk.download('punkt') "

データセットをダウンロードします

pip install gdown
cd rat-sql-gap
gdown --id 1_AckYkinAnhqmRQtGsQgUKAnTHxxX5J0
unzip spider.zip
bash data/spider/generate.sh ./spider

データセットディレクトリを作成します

mkdir data/spider-bart
cp ./spider/tables.json data/spider-bart/
cp ./spider/train_spider.json data/spider-bart/
cp ./spider/train_others.json data/spider-bart/
cp ./spider/dev.json data/spider-bart/
ln -s $( pwd ) /spider/database data/spider-bart/database

ライブラリをダウンロードします

mkdir third_party
wget http://nlp.stanford.edu/software/stanford-corenlp-full-2018-10-05.zip
unzip stanford-corenlp-full-2018-10-05.zip -d third_party/

スタンフォード図書館を開始します

 pushd third_party/stanford-corenlp-full-2018-10-05
nohup java -mx4g -cp " * " edu.stanford.nlp.pipeline.StanfordCoreNLPServer -port 8999 -timeout 15000 > server.log &
popd

チェックポイントをダウンロードします

mkdir -p logdir/bart_run_1/bs = 12 , lr = 1.0e-04 , bert_lr = 1.0e-05 , end_lr = 0e0 , att = 1/
mkdir ie_dirs
aws s3 cp s3://gap-text2sql-public/checkpoint-artifacts/gap-finetuned-checkpoint logdir/bart_run_1/bs = 12 , lr = 1.0e-04 , bert_lr = 1.0e-05 , end_lr = 0e0 , att = 1/model_checkpoint-00041000

mkdir -p pretrained_checkpoint
aws s3 cp s3://gap-text2sql-public/checkpoint-artifacts/pretrained-checkpoint pretrained_checkpoint/pytorch_model.bin

または、AWSCLIをお持ちでない場合は、ここからダウンロードできます。

curl https://gap-text2sql-public.s3.amazonaws.com/checkpoint-artifacts/gap-finetuned-checkpoint -o logdir/bart_run_1/bs = 12 , lr = 1.0e-04 , bert_lr = 1.0e-05 , end_lr = 0e0 , att = 1/model_checkpoint-00041000
curl https://gap-text2sql-public.s3.amazonaws.com/checkpoint-artifacts/pretrained-checkpoint -o pretrained_checkpoint/pytorch_model.bin

プリプロセスデータセット

python run.py preprocess experiments/spider-configs/gap-run.jsonnet

推論

python run.py eval experiments/spider-configs/gap-run.jsonnet

次に、パスで推論結果と評価結果を取得します： ie_dirs/bart_run_1_true_1-step41000.inferおよびie_dirs/bart_run_1_true_1-step41000.eval 。

トレーニング

python run.py train experiments/spider-configs/gap-run.jsonnet

安全

詳細については、貢献を参照してください。

ライセンス

このプロジェクトは、Apache-2.0ライセンスの下でライセンスされています。