LSTM_language_model

Model bahasa berbasis LSTM

Repositori ini berisi semua kode dan sumber daya yang terkait dengan tesis induk saya tentang topik tersebut

"Pemodelan Bahasa Saraf Berulang - Menggunakan Transfer Pembelajaran Untuk Melakukan Penyelesaian Kalimat Radiologis"

Abstrak: Termotivasi oleh manfaat potensial dari suatu sistem yang mempercepat proses penulisan laporan radiologis, kami menyajikan model bahasa jaringan saraf berulang untuk pemodelan bahasa radiologis. Kami menunjukkan bahwa model bahasa saraf berulang dapat digunakan untuk menghasilkan laporan radiologis yang meyakinkan dan menyelidiki bagaimana kinerja mereka dapat ditingkatkan dengan menggunakan regularisasi canggih dan teknik inisialisasi. Selain itu, kami mempelajari penggunaan transfer pembelajaran untuk membuat model bahasa khusus topik.

Data

Data asli yang digunakan dalam tesis ini bersifat rahasia. Oleh karena itu, repositori ini menampilkan versi kode yang berjalan pada dataset Penn Treebank yang tersedia di sini.

Untuk menjalankan kode, Anda harus melakukan preprocess data terlebih dahulu. Rincian lebih lanjut tentang ini dapat ditemukan di folder SRC/Data/

Fitur yang dapat diuji

Dengan mengadaptasi file konfigurasi, fitur -fitur berikut dapat diuji:

• Dropout variasional lapisan tersembunyi
• Mengikat berat badan
• Menanamkan putus sekolah
• Embeddings pra-terlatih

Tesis dan presentasi

Tesis dan slide dapat ditemukan di folder Laporan

Organisasi Proyek

 ├── LICENSE
├── README.md          <- The top-level README 
├── data
│   ├── raw            <- Original PTB files 
│   ├── training_files <- Preprocessed PTB word ids
│   └── embeddings     <- word embeddings
│       │                 
│       ├── fasttext
│       └── word2vec
│
├── models             <- Trained and serialized models
│   ├── checkpoints    <- Model checkpoints
│   └── tensorboard    <- Tensorboard logs
│
├── reports            <- Thesis and presentation slides
│
├── requirements.txt   <- The requirements file for reproducing the analysis environment
│
├── src                <- Source code for use in this project.
│   │
│   ├── __init__.py    <- Makes src a Python module
│   │
│   ├── main.py        <- main file for training, testing, etc.
│   │
│   ├── config_ptb.yamp  <- config file, specifying model params
│   │
│   ├── data           <- scripts to preprocess data
│   │   │                 
│   │   ├── README.md
│   │   ├── preprocess_ptb.py
│   │   └── inverse_dict.py
│   │
│   ├── embeddings     <- scripts to train word embeddings
│   │   │                 
│   │   ├── README.md
│   │   ├── fasttext.py
│   │   └── word2vec.py
│   │
│   ├── models         <- Scripts to train models and then use trained models to make predictions
│   │   │                 
│   │   └── ptb_basic_model.py
│   │
│   └── visualization  <- Scripts to create exploratory and results oriented visualizations
│       │                 
│       ├── README.md
│       └── visualize_embeddings.py
│
└── 

---

Proyek berdasarkan template proyek sains data cookiecutter. #cookiecutterdatacience