pytorch_RVAE

Pytorch Recurrent Variational Autoencoder

Modèle:

Ceci est la mise en œuvre des phrases de génération de Samuel Bowman à partir d'un espace continu avec les modèles de langage neuronal conscient de Kim intégrés pour les jetons

Exemples d'échantillonnage:

the new machine could be used to increase the number of ventures block in the company 's <unk> shopping system to finance diversified organizations

Les responsables du gouvernement américain ont également déclaré qu'ils seraient disposés à examiner si la proposition pourrait être utilisée comme exhignon et programmes

Les hommes croient qu'ils devaient aller sur le <nek> parce que leurs <fonk> étaient <men> chers importants

Les entreprises ont insisté pour que l'ensemble de couleurs puisse être inclus dans le programme

Usage

Avant la formation du modèle, il est nécessaire de former des incorporations de mots:

 $ python train_word_embeddings.py

Ce script Train Word Embeddings défini dans Mikolov et al. Représentations distribuées des mots et des phrases

Paramètres:

--use-cuda

--num-iterations

--batch-size

--num-sample –– Nombre d'échantillon de jetons de bruit

Pour former l'utilisation du modèle:

 $ python train.py

Paramètres:

--use-cuda

--num-iterations

--batch-size

--learning-rate

--dropout –– la probabilité d'unités à zéro dans l'entrée du décodeur

--use-trained –– Utilisez formé avant le modèle

Pour échantillonner les données après l'utilisation de la formation:

 $ python sample.py

Paramètres:

--use-cuda

--num-sample