nlp nnabla

Mise en œuvre de l'apprentissage en profondeur pour NLP avec NNABLA

Minuscule implémentation de modèles d'apprentissage en profondeur pour la PNL avec le NNABLA de Sony.

Environnement testé

• Python 3.7.2
• Nnabla v1.0.11

Modèles

Modèles de langue

• Un modèle de langage de réseau neuronal récurrent vanille ( language-models/rnnlm/ )
• Modèle de langue LSTM ( language-models/lstmlm/ )
• Modèle de langage LSTM convolutionnel au niveau des caractéristiques ( language-models/char-cnn-lstmlm/ )
• Modèle continu du sac de mots (CBOW) ( language-models/cbow/ )

Incorporation de mots

• Modèle de gant ( word-embeddings/glove/ )
• Poincaré Embeddngs ( word-embeddings/poincare-embeddings/ )

Modèles SEQ2SEQ

• Encodeur-décodeur ( seq2seq/encoder-decoder/ )
• Encodeur-décodeur + attention globale ( seq2seq/encoder-decoder-with-attention/ )

Classificateurs de texte

• FastText ( text-classifications/fasttext/ )
• Attention à soi ( text-classifications/self_attention/ )
• Classificateur LSTM ( text-classifications/lstm-classifier/ )

Travail futur

• Modèle de saut-gramme
• Péphole lstm
• Gru
• Transformateur
• Elmo
• etc.