text cnn tensorflow

text-cnn

Ce code met en œuvre des réseaux de neurones convolutionnels pour les modèles de classification des phrases.

• Figure 1: Illustration d'une architecture CNN pour la classification des phrases

Exigences

• Python 3.6
• Tensorflow 1.4
• HB-Config (config de singleton)
• tqdm
• demandes
• URL de webhook relâchée Slack

Structure du projet

Projet init par HB-bases

 .
├── config                  # Config files (.yml, .json) using with hb-config
├── data                    # dataset path
├── notebooks               # Prototyping with numpy or tf.interactivesession
├── scripts                 # download or prepare dataset using shell scripts
├── text-cnn                # text-cnn architecture graphs (from input to logits)
    ├── __init__.py             # Graph logic
├── data_loader.py          # raw_date -> precossed_data -> generate_batch (using Dataset)
├── hook.py                 # training or test hook feature (eg. print_variables)
├── main.py                 # define experiment_fn
├── model.py                # define EstimatorSpec
└── predict.py              # test trained model       

Référence: HB-Config, ensemble de données, expériences_fn, Estimatorspec

• Ensemble de données: Polarité RT, analyse des sentiments sur les critiques de films

Faire

• Appliquer Entembed_Type
  • Cnn-rand
  • CNN-statique
  • CNN-nonstatique
  • CNN-Multichanal

Configurer

Exemple: kaggle_movie_review.yml

 data :
  type : ' kaggle_movie_review '
  base_path : ' data/ '
  raw_data_path : ' kaggle_movie_reviews/ '
  processed_path : ' kaggle_processed_data '
  testset_size : 25000
  num_classes : 5
  PAD_ID : 0

model :
  batch_size : 64
  embed_type : ' rand '     # (rand, static, non-static, multichannel)
  pretrained_embed : " " 
  embed_dim : 300
  num_filters : 256
  filter_sizes :
    - 2
    - 3
    - 4
    - 5
  dropout : 0.5

train :
  learning_rate : 0.00005
  
  train_steps : 100000
  model_dir : ' logs/kaggle_movie_review '
  
  save_checkpoints_steps : 1000
  loss_hook_n_iter : 1000
  check_hook_n_iter : 1000
  min_eval_frequency : 1000
  
slack :
  webhook_url : " "   # after training notify you using slack-webhook 

Usage

Installer les exigences.

pip install -r requirements.txt

Ensuite, préparez l'ensemble de données et entraînez-le.

 sh prepare_kaggle_movie_reviews.sh
python main.py --config kaggle_movie_review --mode train_and_evaluate

Après l'entraînement, vous pouvez essayer de taper les phrases ce que vous voulez utiliser predict.py .

python python predict.py --config rt-polarity

Prédire l'exemple

 python predict.py --config rt-polarity
Setting max_seq_length to Config : 62
load vocab ...
Typing anything :)

> good
1
> bad
0

Modes d'expériences

✅: Travailler
◽: Non encore testé.

• ✅ evaluate : évaluer les données d'évaluation.
• ◽ extend_train_hooks : étend les crochets pour la formation.
• ◽ reset_export_strategies : réinitialise les stratégies d'exportation avec les stratégies new_export_stares.
• ◽ run_std_server : démarre un serveur TensorFlow et rejoint le thread de service.
• ◽ test : teste la formation, l'évaluation et l'exportation de l'estimateur pour une seule étape.
• ✅ train : Ajustez l'estimateur à l'aide des données d'entraînement.
• ✅ train_and_evaluate : Formation et évaluation entrelacées.

Tensorboard

tensorboard --logdir logs

• Couleur de catégorie

• Polarité RT (classification binaire)

• kaggle_movie_review (classification multiclasse)

Référence

• Implémentation d'un CNN pour la classification du texte dans Tensorflow par Denny Britz
• Document - Réseaux de neurones convolutionnels pour la classification des phrases (2014) par Y Kim
• Document - Une analyse de sensibilité du (et du guide des praticiens de) réseaux de neurones convolutionnels pour la classification des phrases (2015) Y Zhang