nlp nnabla

Implementación de aprendizaje profundo para PNL con NNABLA

Peque implementación de modelos de aprendizaje profundo para PNL con Nnabla de Sony.

Ambiente probado

• Python 3.7.2
• Nnabla v1.0.11

Modelos

Modelos de idiomas

• Un modelo de lenguaje de red neuronal recurrente de vainilla ( language-models/rnnlm/ )
• Modelo de idioma LSTM ( language-models/lstmlm/ )
• Modelo de lenguaje LSTM convolucional a nivel de carácter ( language-models/char-cnn-lstmlm/ )
• Modelo de bolsa continua (CBOW) ( language-models/cbow/ )

Incrustaciones de palabras

• Modelo de guante ( word-embeddings/glove/ )
• Poincaré incrustan ( word-embeddings/poincare-embeddings/ )

Modelos SEQ2SEQ

• Coder-Decoder ( seq2seq/encoder-decoder/ )
• Codificador-decoder + atención global ( seq2seq/encoder-decoder-with-attention/ )

Clasificadores de texto

• FastText ( text-classifications/fasttext/ )
• Atención por cuenta propia ( text-classifications/self_attention/ )
• Clasificador LSTM ( text-classifications/lstm-classifier/ )

Trabajo futuro

• Modelo de gramo de omisión
• Peephole LSTM
• Gru
• Transformador
• Elmo
• etc.