torchKbert

Torchkbert

• Versi Kustomisasi Bert kami untuk Pytorch

menjelaskan

Ini adalah pustaka model yang saya miliki sebagian disesuaikan dan dimodifikasi berdasarkan perpustakaan pytorch_pretred_bert Meelfy.

Tujuan asli dari proyek ini adalah untuk memenuhi kenyamanan eksperimen pribadi, jadi itu tidak akan sering diperbarui.

Fungsi

• Fungsionalitas dalam pustaka model asli Pytorch_pretrain_bert masih didukung;
• Mendukung pengkodean posisi dekomposisi hierarkis.
• Mendukung Wobert berdasarkan kata granularitas. Bobot pytorch (model Wobert Plus disediakan di sini):
  • China_wobert_plus.zip (Kode Ekstraksi: FG6J)

menggunakan

• Memasang:

  pip install torchKbert

• Untuk contoh penggunaan yang khas, silakan merujuk ke Direktori Contoh Resmi.

• Jika Anda ingin menggunakan pengkodean posisi dekomposisi hierarkis sehingga Bert dapat memproses teks yang panjang, cukup lulus parameter is_hierarchical=True dalam model . Contohnya adalah sebagai berikut:

   model = BertModel(config)
  encoder_outputs, _ = model(input_ids, token_ids, input_mask, is_hierarchical=True)
  

• Jika Anda ingin menggunakan Chinese Wobert berdasarkan granularitas kata, cukup lewati parameter baru saat membangun objek BertTokenizer :

   from torchKbert.tokenization import BertTokenizer
  
  tokenizer = BertTokenizer(
      vocab_file=vocab_path, 
      pre_tokenizer=lambda s: jieba.cut(s, HMM=False))
  

  Saat tidak masuk, standarnya None . Saat berpartisipasi kata -kata, standarnya akan digunakan sebagai kata -kata. Jika Anda ingin mengembalikan penggunaan unit kata, cukup lulus parameter baru pre_tokenize=False ketika tokenize :

   tokenzier.tokenize(text, pre_tokenize=False)
  

latar belakang

Saya telah menulis pytorch_pretrain_bert di Meelfy sebelumnya, dan sangat nyaman untuk memanggil model pretrained atau melakukan penyetelan. Kemudian, karena kebutuhan pribadi, saya ingin menulis ulang versi yang mendukung pengkodean posisi dekomposisi hierarkis.

Bert4keras Sushen telah menerapkan fungsi seperti itu. Tetapi karena saya terbiasa menggunakan Pytorch, saya sudah lama tidak menggunakan keras, jadi saya berencana untuk menulis ulang sendiri.

memperbarui

• 2021.03.07 : Tambahkan pengkodean posisi dekomposisi hierarkis.
• 2021.05.27 : Tambahkan Chinese Wobert berdasarkan Word Granularity.
• 2022.03.27 : Lihat Pytorch_Transformers untuk refactor implementasi kode Model Model.

merujuk ke

• Berkat implementasi Meelfy dari Pytorch_pretrain_bert, implementasi ini sepenuhnya didasarkan pada kode sumber pytorch_pretred_bert.
• Terima kasih kepada Su Shen atas wawasan dan berbagi tanpa pamrihnya: pengkodean posisi dekomposisi hierarkis memungkinkan Bert untuk memproses teks yang sangat panjang.
• Wobert: Model Bert Cina berbasis kata - Zhuiyiai.