albert zh for pytorch transformers Download - albert zh for pytorch transformers Código Fonte Download

albert zh for pytorch transformers

Código-Fonte de IA

albert for pytorch

Baixar

O autor de referência original forneceu o download do modelo e os resultados dos testes

https://github.com/lonepatient/albert_pytorch/blob/master/readme_zh.md

Albert-Zh para Pytorch-Transformers

Pare de atualizar
Basta converter com base na referência e depois pisar na mina
Albert ZH para transformadores de pytorch
Suporte de teste para chinês tradicional

Modelos disponíveis

Albert_tiny_zh
ALBERT_BASE_ZH
ALBERT_LARGE_ZH
ALBERT_XLARGE_ZH

API

Primeiro lugar albert_zh neste repositório sob seu projeto

from albert_zh import ...

 AlbertConfig
AlbertTokenizer
AlbertModel
AlbertForMaskedLM
AlbertForQuestionAnswering
AlbertForSequenceClassification

https://huggingface.co/transformers/v2.3.0/model_doc/albert.html

Como usar

Veja usage_example.py
Ou consulte o exemplo de uso real de p208p2002/taipei-qa-bert
O teste funciona corretamente no Transformers 2.3.0

Perguntas frequentes

Eu quero apresentá -lo em Jupyter e Colab, mas tenho problemas

Essa nomeação de repositório não cumpre a convenção de nomeação do módulo Python, e o próprio Jupyter não tem um bom suporte para módulos personalizados. Consulte o exemplo da solução abaixo. Considere empurrar Pypi mais tarde

 # 此段code僅適用於jupyter、colab
!git clone https://github.com/p208p2002/albert-zh-for-pytorch-transformers.git albert
import sys 
sys.path.append('.')
from albert.albert_zh import AlbertConfig, AlbertTokenizer, AlbertForSequenceClassification

A perda não pode ser reduzida, o treinamento se torna lixo

Verifique se a classe modelo e a configuração do modelo são introduzidas por Albert_ZH, não Transformers

Lonepaciente/Albert_pytorch#35

AttributeError: 'BertConfig' Objeto não tem atributo 'share_type'

config.json adiciona "share_type":"all"

O modelo imprime as coisas durante o treinamento

Use log() em vez de print() e execute blockPrint() uma vez no início do programa

 import os , sys
def log ( * logs ):
    enablePrint ()
    print ( * logs )
    blockPrint ()

# Disable
def blockPrint ():
    sys . stdout = open ( os . devnull , 'w' )

# Restore
def enablePrint ():
    sys . stdout = sys . __stdout__