albert zh for pytorch transformers下载-Albert albert zh for pytorch transformers源代码下载

albert zh for pytorch transformers

Ai源码

albert for pytorch

下载

原参考作者现已提供模型下载与测试结果

https://github.com/lonePatient/albert_pytorch/blob/master/README_zh.md

Albert-zh for pytorch-transformers

停止更新
仅仅是基于参考进行转换，然后踩踩雷
Albert zh for pytorch-transformers
测试支援繁体中文

可用模型

albert_tiny_zh
albert_base_zh
albert_large_zh
albert_xlarge_zh

API

先将本repo中的albert_zh放置在你的专案底下

from albert_zh import ...

 AlbertConfig
AlbertTokenizer
AlbertModel
AlbertForMaskedLM
AlbertForQuestionAnswering
AlbertForSequenceClassification

https://huggingface.co/transformers/v2.3.0/model_doc/albert.html

使用方法

请参见usage_example.py
或是参考p208p2002/taipei-QA-BERT的实际使用范例
测试在transformers 2.3.0 正常运作

常见问题

我想在jupyter、colab引入但是遇到问题

这个repo命名不符合python module命名惯例，并且jupyter本身对自订的模组没有很好的支援，请先参考下方的解决范例。后续考虑推上pypi

 # 此段code僅適用於jupyter、colab
!git clone https://github.com/p208p2002/albert-zh-for-pytorch-transformers.git albert
import sys 
sys.path.append('.')
from albert.albert_zh import AlbertConfig, AlbertTokenizer, AlbertForSequenceClassification

loss 降不下来，训练出来变垃圾

确保model class 与model config 由albert_zh 引入，而非transformers

lonePatient/albert_pytorch#35

AttributeError: 'BertConfig' object has no attribute 'share_type'

config.json增加"share_type":"all"

训练时模型乱印东西

请用log()代替print() ，并且在程式开始的时候先执行一次blockPrint()

 import os , sys
def log ( * logs ):
    enablePrint ()
    print ( * logs )
    blockPrint ()

# Disable
def blockPrint ():
    sys . stdout = open ( os . devnull , 'w' )

# Restore
def enablePrint ():
    sys . stdout = sys . __stdout__