gap text2sql
1.0.0
Код и модель из нашей бумаги AAAI 2021
[2020/02/05] Поддержка запуска модели в собственных базах данных и запросах. Проверьте ноутбук.
Совсем недавно существует значительный интерес к обучению контекстуальных представлений для различных задач NLP, используя крупномасштабные текстовые корпорации для обучения крупных моделей нейронного языка с самоотверженными целями обучения, такими как модель маскированного языка (MLM). Однако, основываясь на пилотном исследовании, мы наблюдаем три вопроса существующих языковых моделей общего назначения, когда они применяются к семантическим анализаторам текста к SQL: не обнаруживает упоминания колонны в высказываниях, не выводя упоминания колонны из значений ячеек и не могут составить сложные запросы SQL. Чтобы смягчить эти проблемы, мы представляем модельную структуру предварительного обучения, предварительную тренировку с генерацией (GAP), которая совместно изучает представления высказываний естественного языка и схемы таблицы путем использования моделей генерации для генерации данных перед поездками. Модель GAP обучается 2-метровым парам высказывания схемы и 30 тыс. Стхэм-схема-SQL, чьи высказывания производятся генеративными моделями. Основываясь на экспериментальных результатах, нейронные семантические анализаторы, которые используют модель разрыва в качестве энкодера представления, получают новые современные результаты как на критериях, так и на критериях-критериях к SQL.
conda create --name gap-text2sql python=3.7
source activate gap-text2sql
conda install pytorch=1.5 cudatoolkit=10.2 -c pytorch
pip install -r requirements.txt
python -c " import nltk; nltk.download('stopwords'); nltk.download('punkt') "pip install gdown
cd rat-sql-gap
gdown --id 1_AckYkinAnhqmRQtGsQgUKAnTHxxX5J0
unzip spider.zip
bash data/spider/generate.sh ./spidermkdir data/spider-bart
cp ./spider/tables.json data/spider-bart/
cp ./spider/train_spider.json data/spider-bart/
cp ./spider/train_others.json data/spider-bart/
cp ./spider/dev.json data/spider-bart/
ln -s $( pwd ) /spider/database data/spider-bart/databasemkdir third_party
wget http://nlp.stanford.edu/software/stanford-corenlp-full-2018-10-05.zip
unzip stanford-corenlp-full-2018-10-05.zip -d third_party/ pushd third_party/stanford-corenlp-full-2018-10-05
nohup java -mx4g -cp " * " edu.stanford.nlp.pipeline.StanfordCoreNLPServer -port 8999 -timeout 15000 > server.log &
popdmkdir -p logdir/bart_run_1/bs = 12 , lr = 1.0e-04 , bert_lr = 1.0e-05 , end_lr = 0e0 , att = 1/
mkdir ie_dirs
aws s3 cp s3://gap-text2sql-public/checkpoint-artifacts/gap-finetuned-checkpoint logdir/bart_run_1/bs = 12 , lr = 1.0e-04 , bert_lr = 1.0e-05 , end_lr = 0e0 , att = 1/model_checkpoint-00041000
mkdir -p pretrained_checkpoint
aws s3 cp s3://gap-text2sql-public/checkpoint-artifacts/pretrained-checkpoint pretrained_checkpoint/pytorch_model.binВ качестве альтернативы, вы можете скачать их здесь, если у вас нет AWSCLI: GAP-Finetuned-Checkpoint и предварительная проверка
curl https://gap-text2sql-public.s3.amazonaws.com/checkpoint-artifacts/gap-finetuned-checkpoint -o logdir/bart_run_1/bs = 12 , lr = 1.0e-04 , bert_lr = 1.0e-05 , end_lr = 0e0 , att = 1/model_checkpoint-00041000
curl https://gap-text2sql-public.s3.amazonaws.com/checkpoint-artifacts/pretrained-checkpoint -o pretrained_checkpoint/pytorch_model.binpython run.py preprocess experiments/spider-configs/gap-run.jsonnetpython run.py eval experiments/spider-configs/gap-run.jsonnet Затем вы получаете результаты вывода и результаты оценки в пути: ie_dirs/bart_run_1_true_1-step41000.infer и ie_dirs/bart_run_1_true_1-step41000.eval .
python run.py train experiments/spider-configs/gap-run.jsonnetСмотрите Anploying для получения дополнительной информации.
Этот проект лицензирован по лицензии Apache-2.0.
