الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

GAP-Text2SQL: التعلم تمثيلات سياقية للحلية الدلالية مع التدريب المسبق للأجيال

رمز ونموذج من ورقة AAAI 2021

التحديثات

[2020/02/05] دعم لتشغيل النموذج على قواعد البيانات والاستعلامات الخاصة. تحقق من دفتر الملاحظات.

خلاصة

في الآونة الأخيرة ، كان هناك اهتمام كبير بتعلم التمثيلات السياقية لمختلف مهام NLP ، من خلال الاستفادة من شركة النصوص الكبيرة على نطاق واسع لتدريب نماذج اللغة العصبية الكبيرة مع أهداف التعلم الخاضعة للإشراف ذاتيا ، مثل نموذج اللغة المقنعة (MLM). ومع ذلك ، استنادًا إلى دراسة تجريبية ، نلاحظ ثلاثة قضايا من نماذج اللغة للأغراض العامة الحالية عندما يتم تطبيقها على محلات Text to SQL الدلالية: فشل في اكتشاف إشارات العمود في الكلام ، وفشل في استنتاج الإشارات العمود من قيم الخلايا ، والفشل في تكوين استعلامات SQL المعقدة. للتخفيف من هذه القضايا ، نقدم إطارًا نموذجيًا قبل التدريب ، والتدريب المسبق للأجهزة (GAP) ، والذي يتعلم بشكل مشترك تمثيلات لغوي اللغة الطبيعية ومخططات الجدول من خلال الاستفادة من نماذج التوليد لإنشاء بيانات ما قبل التدريب. يتم تدريب نموذج الفجوة على أزواج 2M الكلام-سميمة وثلاث مرات 30 ألفًا من الكلام-SQL ، والتي تنتج كلامها عن طريق النماذج التوليدية. استنادًا إلى النتائج التجريبية ، يحصل المحللون الدلاليون العصبيون الذين يستفيدون من نموذج الفجوة كمشفر تمثيل على نتائج جديدة على كل من العنكبوت والمعايير إلى SQL.

يثبت 

conda create --name gap-text2sql python=3.7
source activate gap-text2sql
conda install pytorch=1.5 cudatoolkit=10.2 -c pytorch
pip install -r requirements.txt
python -c " import nltk; nltk.download('stopwords'); nltk.download('punkt') "

قم بتنزيل مجموعة البيانات 

pip install gdown
cd rat-sql-gap
gdown --id 1_AckYkinAnhqmRQtGsQgUKAnTHxxX5J0
unzip spider.zip
bash data/spider/generate.sh ./spider

بناء دليل مجموعة البيانات 

mkdir data/spider-bart
cp ./spider/tables.json data/spider-bart/
cp ./spider/train_spider.json data/spider-bart/
cp ./spider/train_others.json data/spider-bart/
cp ./spider/dev.json data/spider-bart/
ln -s $( pwd ) /spider/database data/spider-bart/database

قم بتنزيل المكتبة 

mkdir third_party
wget http://nlp.stanford.edu/software/stanford-corenlp-full-2018-10-05.zip
unzip stanford-corenlp-full-2018-10-05.zip -d third_party/

ابدأ مكتبة ستانفورد 

 pushd third_party/stanford-corenlp-full-2018-10-05
nohup java -mx4g -cp " * " edu.stanford.nlp.pipeline.StanfordCoreNLPServer -port 8999 -timeout 15000 > server.log &
popd

قم بتنزيل نقطة التفتيش 

mkdir -p logdir/bart_run_1/bs = 12 , lr = 1.0e-04 , bert_lr = 1.0e-05 , end_lr = 0e0 , att = 1/
mkdir ie_dirs
aws s3 cp s3://gap-text2sql-public/checkpoint-artifacts/gap-finetuned-checkpoint logdir/bart_run_1/bs = 12 , lr = 1.0e-04 , bert_lr = 1.0e-05 , end_lr = 0e0 , att = 1/model_checkpoint-00041000

mkdir -p pretrained_checkpoint
aws s3 cp s3://gap-text2sql-public/checkpoint-artifacts/pretrained-checkpoint pretrained_checkpoint/pytorch_model.bin

بدلاً من ذلك ، يمكنك تنزيلها هنا إذا لم يكن لديك AWSCLI: GAP-Finetuned-checkpoint و pretrained-checkpoint 

curl https://gap-text2sql-public.s3.amazonaws.com/checkpoint-artifacts/gap-finetuned-checkpoint -o logdir/bart_run_1/bs = 12 , lr = 1.0e-04 , bert_lr = 1.0e-05 , end_lr = 0e0 , att = 1/model_checkpoint-00041000
curl https://gap-text2sql-public.s3.amazonaws.com/checkpoint-artifacts/pretrained-checkpoint -o pretrained_checkpoint/pytorch_model.bin

مجموعة بيانات المعالجة المسبقة 

python run.py preprocess experiments/spider-configs/gap-run.jsonnet

الاستدلال 

python run.py eval experiments/spider-configs/gap-run.jsonnet

يمكنك بعد ذلك الحصول على نتائج الاستدلال ونتائج التقييم في المسارات: ie_dirs/bart_run_1_true_1-step41000.infer و ie_dirs/bart_run_1_true_1-step41000.eval .

تمرين 

python run.py train experiments/spider-configs/gap-run.jsonnet

حماية

انظر المساهمة لمزيد من المعلومات.

رخصة

تم ترخيص هذا المشروع بموجب ترخيص Apache-2.0.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل