albert zh for pytorch transformers

ผู้เขียนอ้างอิงดั้งเดิมได้ให้การดาวน์โหลดและผลการทดสอบแบบจำลอง

https://github.com/lonepatient/albert_pytorch/blob/master/readme_zh.md

Albert-ZH สำหรับ pytorch-transformers

• หยุดอัปเดต
• เพียงแค่แปลงตาม การอ้างอิง จากนั้นเหยียบเหมือง
• Albert ZH สำหรับ Pytorch-Transformers
• การสนับสนุนการทดสอบสำหรับภาษาจีนดั้งเดิม

รุ่นที่มีอยู่

• albert_tiny_zh
• albert_base_zh
• albert_large_zh
• albert_xlarge_zh

API

อันดับแรกที่ albert_zh ใน repo นี้ภายใต้โครงการของคุณ

from albert_zh import ...

 AlbertConfig
AlbertTokenizer
AlbertModel
AlbertForMaskedLM
AlbertForQuestionAnswering
AlbertForSequenceClassification

https://huggingface.co/transformers/v2.3.0/model_doc/albert.html

วิธีใช้

• ดู usage_example.py

  หรืออ้างถึงตัวอย่างการใช้งานจริงของ P208P2002/TIIPEI-QA-BERT

• การทดสอบใช้งานได้อย่างถูกต้องในหม้อแปลง 2.3.0

คำถามที่พบบ่อย

ฉันต้องการแนะนำใน Jupyter และ Colab แต่ฉันมีปัญหา

การตั้งชื่อ repo นี้ไม่สอดคล้องกับอนุสัญญาการตั้งชื่อโมดูล Python และ Jupyter เองไม่ได้รับการสนับสนุนที่ดีสำหรับโมดูลที่กำหนดเอง โปรดดูตัวอย่างโซลูชันด้านล่าง พิจารณาผลักดัน PYPI ในภายหลัง

 # 此段code僅適用於jupyter、colab
!git clone https://github.com/p208p2002/albert-zh-for-pytorch-transformers.git albert
import sys 
sys.path.append('.')
from albert.albert_zh import AlbertConfig, AlbertTokenizer, AlbertForSequenceClassification

การสูญเสียไม่สามารถลดลงการฝึกอบรมจะกลายเป็นขยะ

ตรวจสอบให้แน่ใจว่าคลาสโมเดลและการกำหนดค่าโมเดลได้รับการแนะนำโดย Albert_ZH ไม่ใช่ Transformers

lonepatient/albert_pytorch#35

AttributeError: 'BertConfig' วัตถุไม่มีแอตทริบิวต์ 'Share_type'

config.json เพิ่ม "share_type":"all"

โมเดลพิมพ์สิ่งต่าง ๆ ในระหว่างการฝึกอบรม

โปรดใช้ log() แทน print() และดำเนินการ blockPrint() หนึ่งครั้งที่จุดเริ่มต้นของโปรแกรม

 import os , sys
def log ( * logs ):
    enablePrint ()
    print ( * logs )
    blockPrint ()

# Disable
def blockPrint ():
    sys . stdout = open ( os . devnull , 'w' )

# Restore
def enablePrint ():
    sys . stdout = sys . __stdout__ 

สภาพแวดล้อมการทดสอบ

• Python 3.6.4
• Pyotrch 1.3 (กับ Cuda 10)
• Transformers 2.3.0

อ้างถึง

อัลเบิร์ต ZH

• https://github.com/brightmart/albert_zh

อัลเบิร์ต tf ถึง pytorch

• https://github.com/lonepatient/albert_pytorch