BERT AttributeExtraction

Bert-Attribute-Extraction

Ekstraksi atribut grafik pengetahuan berdasarkan Bert

Menggunakan BERT untuk ekstraksi atribut dalam KnowledgeGraph dengan dua metode, penyempurnaan dan ekstraksi fitur.

Grafik Pengetahuan Baidu Encyclopedia Entri Ekstraksi Atribut Karakter, Eksperimen dilakukan dengan menggunakan metode penyempurnaan fine-tuning dan fitur-ekstraksi berdasarkan Bert.

Prasyarat

 Tensorflow >=1.10
scikit-learn

Model pra-terlatih

BERT-Base, Chinese : Cina disederhanakan dan tradisional, 12-lapis, 768-tersembunyi, 12-heads, parameter 110m

Menginstal

Tidak ada

Dataset

Dataset dibangun menurut entri karakter Baidu Encyclopedia. Saring corpus yang tidak mengandung entitas dan atribut.

Entitas dan atribut diperoleh dari pengakuan entitas nama.

Label diperoleh dari Baidu Encyclopedia InfoBox, dan kebanyakan dari mereka diberi label secara manual, jadi beberapa tidak terlalu baik.
Misalnya:

黄维#1904年#1#黄维（1904年-1989年），字悟我，出生于江西贵溪一农户家庭。        
陈昂#山东省滕州市#1#邀请担任诗词嘉宾。1992年1月26日，陈昂出生于山东省滕州市一个普通的知识分子家庭，其祖父、父亲都
陈伟庆#肇庆市鼎湖区#0#长。任免信息2016年10月21日下午，肇庆市鼎湖区八届人大一次会议胜利闭幕。陈伟庆当选区人民政府副区长。

Memulai

• Jalankan strip.py bisa mendapatkan data striped
• Jalankan data_process.py dapat memproses data untuk mendapatkan input file numpy
• File parameters adalah parameter yang menjalankan model kebutuhan

Menjalankan tes

Misalnya dengan dataset tempat lahir:

• fine-tuning

  • Jalankan run_classifier.py untuk mendapatkan output probabilitas yang diprediksi

  python run_classifier.py 
          --task_name=my 
          --do_train=true 
          --do_predict=true 
          --data_dir=a 
          --vocab_file=/home/tiny/zhaomeng/bertmodel/vocab.txt 
          --bert_config_file=/home/tiny/zhaomeng/bertmodel/bert_config.json 
          --init_checkpoint=/home/tiny/zhaomeng/bertmodel/bert_model.ckpt 
          --max_seq_length=80 
          --train_batch_size=32 
          --learning_rate=2e-5 
          --num_train_epochs=1.0 
          --output_dir=./output

  • Kemudian jalankan proba2metrics.py untuk mendapatkan hasil akhir dengan klasifikasi yang salah

• Ekstraksi fitur

  • Jalankan extract_features.py untuk mendapatkan representasi vektor dari kereta api dan data uji dalam format file JSON

  python extract_features.py 
          --input_file=../data/birth_place_train.txt 
          --output_file=../data/birth_place_train.jsonl 
          --vocab_file=/home/tiny/zhaomeng/bertmodel/vocab.txt 
          --bert_config_file=/home/tiny/zhaomeng/bertmodel/bert_config.json 
          --init_checkpoint=/home/tiny/zhaomeng/bertmodel/bert_model.ckpt 
          --layers=-1 
          --max_seq_length=80 
          --batch_size=16

  • Kemudian jalankan json2vector.py untuk mentransfer file json ke representasi vektor
  • Akhirnya jalankan run_classifier.py untuk menggunakan metode pembelajaran mesin untuk melakukan klasifikasi, MLP biasanya peforms terbaik

Hasil

Hasil yang diprediksi dan korpus yang salah diklasifikasi disimpan dalam Dir Hasil.

• Misalnya dengan dataset tempat lahir menggunakan metode penyempurnaan, hasilnya adalah:

              precision    recall  f1-score   support
  
       0      0.963     0.967     0.965       573
       1      0.951     0.946     0.948       389
  

Penulis

• Zhao Meg

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT

Ucapan Terima Kasih

• dll.