หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

Text-cnn

รหัสนี้ใช้เครือข่ายประสาทแบบ convolutional สำหรับรูปแบบการจำแนกประโยค

  • รูปที่ 1: ภาพประกอบของสถาปัตยกรรม CNN สำหรับการจำแนกประโยค

รูปที่ 1

ความต้องการ

  • Python 3.6
  • Tensorflow 1.4
  • HB-Config (Singleton Config)
  • TQDM
  • การร้องขอ
  • url webhook ที่เข้ามา

โครงสร้างโครงการ

โครงการ init โดย HB-base 

 .
├── config                  # Config files (.yml, .json) using with hb-config
├── data                    # dataset path
├── notebooks               # Prototyping with numpy or tf.interactivesession
├── scripts                 # download or prepare dataset using shell scripts
├── text-cnn                # text-cnn architecture graphs (from input to logits)
    ├── __init__.py             # Graph logic
├── data_loader.py          # raw_date -> precossed_data -> generate_batch (using Dataset)
├── hook.py                 # training or test hook feature (eg. print_variables)
├── main.py                 # define experiment_fn
├── model.py                # define EstimatorSpec
└── predict.py              # test trained model

การอ้างอิง: hb-config, ชุดข้อมูล, Experiments_fn, EmentatorsPec

  • ชุดข้อมูล: RT-Polarity, การวิเคราะห์ความเชื่อมั่นในบทวิจารณ์ภาพยนตร์

สิ่งที่ต้องทำ

  • ใช้ embed_type
    • CNN-rand
    • cnn-at
    • cnn-nonstatic
    • CNN-multichannel

การกำหนดค่า

ตัวอย่าง: kaggle_movie_review.yml 

 data :
  type : ' kaggle_movie_review '
  base_path : ' data/ '
  raw_data_path : ' kaggle_movie_reviews/ '
  processed_path : ' kaggle_processed_data '
  testset_size : 25000
  num_classes : 5
  PAD_ID : 0

model :
  batch_size : 64
  embed_type : ' rand '     # (rand, static, non-static, multichannel)
  pretrained_embed : " " 
  embed_dim : 300
  num_filters : 256
  filter_sizes :
    - 2
    - 3
    - 4
    - 5
  dropout : 0.5

train :
  learning_rate : 0.00005
  
  train_steps : 100000
  model_dir : ' logs/kaggle_movie_review '
  
  save_checkpoints_steps : 1000
  loss_hook_n_iter : 1000
  check_hook_n_iter : 1000
  min_eval_frequency : 1000
  
slack :
  webhook_url : " "   # after training notify you using slack-webhook

การใช้งาน

ติดตั้งข้อกำหนด

pip install -r requirements.txt

จากนั้นเตรียมชุดข้อมูลและฝึกอบรม 

 sh prepare_kaggle_movie_reviews.sh
python main.py --config kaggle_movie_review --mode train_and_evaluate

หลังจากการฝึกอบรมคุณสามารถลองพิมพ์ประโยคสิ่งที่คุณต้องการโดยใช้ predict.py

python python predict.py --config rt-polarity

ทำนายตัวอย่าง 

 python predict.py --config rt-polarity
Setting max_seq_length to Config : 62
load vocab ...
Typing anything :)

> good
1
> bad
0

โหมดการทดลอง

✅: ทำงาน
◽: ยังไม่ได้ทดสอบ

  • ✅ evaluate : ประเมินข้อมูลการประเมินผล
  • ◽ extend_train_hooks : ขยายตะขอสำหรับการฝึกอบรม
  • ◽ reset_export_strategies : รีเซ็ตกลยุทธ์การส่งออกด้วย new_export_strategies
  • ◽ run_std_server : เริ่มเซิร์ฟเวอร์ Tensorflow และเข้าร่วมเธรดการให้บริการ
  • ◽ test : การทดสอบการฝึกอบรมการประเมินและส่งออกประมาณการสำหรับขั้นตอนเดียว
  • ✅ train : พอดีกับตัวประมาณโดยใช้ข้อมูลการฝึกอบรม
  • ✅ train_and_evaluate : การฝึกอบรมและการประเมินผล interleaves

บอร์ดบอร์ด

tensorboard --logdir logs

  • สีหมวดหมู่

category_image

  • RT-Polarity (การจำแนกไบนารี)

ภาพ

  • kaggle_movie_review (การจำแนกแบบหลายคลาส)

ภาพ

อ้างอิง

  • การใช้ CNN สำหรับการจำแนกประเภทข้อความใน TensorFlow โดย Denny Britz
  • กระดาษ - เครือข่ายประสาทเทียมสำหรับการจำแนกประโยค (2014) โดย y kim
  • กระดาษ - การวิเคราะห์ความอ่อนไหวของ (และคู่มือผู้ปฏิบัติงาน) เครือข่ายประสาทเทียมสำหรับการจำแนกประโยค (2015) Y Zhang
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด