albert zh for pytorch transformers

Первоначальный автор ссылки предоставил результаты загрузки и тестирования модели

https://github.com/lonepatient/albert_pytorch/blob/master/readme_zh.md

Альберт-ZH для Pytorch-трансформаторы

• Прекратите обновлять
• Просто преобразуйте на основе ссылки , а затем наступите на шахту
• Альберт Ж.Х.
• Тестовая поддержка традиционного китайца

Доступные модели

• albert_tiny_zh
• albert_base_zh
• albert_large_zh
• albert_xlarge_zh

API

Сначала место albert_zh в этом репо под вашим проектом

from albert_zh import ...

 AlbertConfig
AlbertTokenizer
AlbertModel
AlbertForMaskedLM
AlbertForQuestionAnswering
AlbertForSequenceClassification

https://huggingface.co/transformers/v2.3.0/model_doc/albert.html

Как использовать

• Смотрите usage_example.py

  Или обратитесь к фактическому примеру использования P208P2002/Taipe-Qa-Bert

• Тестирование работает должным образом в трансформаторах 2.3.0

Часто задаваемые вопросы

Я хочу представить его в Юпитере и Колабе, но у меня есть проблемы

Это именование репо не соответствует конвенции о именовании модуля Python, и сам Юпитер не имеет хорошей поддержки для индивидуальных модулей. Пожалуйста, обратитесь к примеру решения ниже. Позже подумайте

 # 此段code僅適用於jupyter、colab
!git clone https://github.com/p208p2002/albert-zh-for-pytorch-transformers.git albert
import sys 
sys.path.append('.')
from albert.albert_zh import AlbertConfig, AlbertTokenizer, AlbertForSequenceClassification

Потеря не может быть уменьшена, тренировка становится мусором

Убедитесь, что модельный класс и конфигурация модели представлены Albert_ZH, а не трансформаторы

Lonepatient/albert_pytorch#35

AttrubtError: объект «bertconfig» не имеет атрибута 'share_type'

config.json добавляет "share_type":"all"

Модель печатает вещи во время обучения

Пожалуйста, используйте log() вместо print() и выполнить blockPrint() один раз в начале программы

 import os , sys
def log ( * logs ):
    enablePrint ()
    print ( * logs )
    blockPrint ()

# Disable
def blockPrint ():
    sys . stdout = open ( os . devnull , 'w' )

# Restore
def enablePrint ():
    sys . stdout = sys . __stdout__ 

Тестовая среда

• Python 3.6.4
• Pyotrch 1.3 (с Cuda 10)
• Трансформеры 2.3.0

обратиться к

Альберт Ч.Х.

• https://github.com/brightmart/albert_zh

Альберт TF к Pytorch

• https://github.com/lonepatient/albert_pytorch