CAP0104 Capstone Project

Proyek Angkoot oleh CAP0104 Capstone Project Team (KIRIMAS) Bangkit Academy 2021

Ringkasan

Angkoot adalah aplikasi yang memiliki tujuan untuk mendigitalkan transportasi Angkot di Surabaya, Indonesia. Layanan yang disediakan Angkoot sekarang adalah prediksi tarif untuk pesanan, estimasi jarak trip, dan pendaftaran pengguna.

Kredit

Untuk prediksi tarif kami terinspirasi dari Dimitre Oliveira: https://github.com/dimitreoliveira/newyorkcitytaxifare

Dan dataset prediksi tarif yang kami gunakan adalah dari Kaggle. [Dataset]

Proses penyebaran dengan Flask ke Google Compute Engine telah dilakukan dengan menggunakan Tutorial Bantuan dari Alara Dirik: https://github.com/alaradirik/google-cloud-flask-tutorial [Deployment]

Bagaimana?

Untuk prediksi tarif, kami hanya menggunakan sekitar 500.000 data dari seluruh dataset. Dan kemudian kami preprocess dataset berdasarkan persiapan data dimitre Oliveira dengan beberapa penyesuaian. Dan kemudian kami membangun model menggunakan model keras. Pada awalnya kami mencoba menggunakan TensorFlow Estimator, sama dengan dimitre. Tapi kemudian kami melakukan beberapa penyesuaian sehingga kami hanya menggunakan keras dalam proyek kami. Setelah itu, kami melakukan pelatihan dan mengekspor model yang disimpan. Selanjutnya, model yang disimpan digunakan menggunakan Flask, dengan penambahan Nginx dan Unicorn, ke dalam mesin komputasi Google. Dari itu, kami mendapatkan API yang kemudian akan dipicu dari aplikasi Android untuk membuat beberapa prediksi.

Langkah demi langkah

Ini adalah langkah -langkah yang bisa Anda lakukan:

Latih modelnya

1. Unduh dataset dari Kaggle. [Dataset]
2. Kloning repositori ini

git clone https://github.com/anriza-fanani-bangkit/CAP0104-Capstone-Project/

3. Pasang persyaratan.txt

pip install -r requirements.txt

4. Preprocess the train.csv dan test.csv dari dataset menggunakan data persiapan.ipynb skrip untuk mendapatkan data untuk pelatihan.
5. Latih data menggunakan model_keras.ipynb dan dapatkan model yang disimpan dalam format Protocol Buffer (.pb) atau format HDF5 (.h5). Anda juga dapat mengubahnya menjadi JSON menggunakan konverter TFJS dan model TFLITE menggunakan TFLITE Converter. Anda juga dapat menyesuaikan hiperparameter atau arsitektur.

Penyebaran Model Menggunakan Flask

1. Kita perlu memeriksa apakah model dapat dimuat atau tidak menggunakan load_model.ipynb , jika prediksi dapat dilakukan, maka kita berada dengan cara yang benar.
2. Setelah itu, kita perlu mendesain ulang skrip Model_keras sehingga dapat digunakan di server web lokal menggunakan Flask. Oleh karena itu kami membuat flask_model.py untuk preprocessing dan mencoba beberapa prediksi di localhost.
3. Selanjutnya, kami memiliki dua skrip berbeda untuk penyebaran Flask: flask_using_dataform.ipynb dan main.ipynb . Ini pada dasarnya adalah skrip yang sama, tetapi dengan sedikit perbedaan. Di flask_using_dataform.ipynb kami menggunakan formulir data untuk membuat prediksi dengan mengunggah file CSV dan klik tombol prediksi, dan untuk main.ipynb kami menghapus formulir data untuk menggunakannya di mesin komputasi google sehingga prediksi dapat dilakukan lurus dan kontinu. Main.py pada dasarnya skrip yang sama tetapi dengan format Python.
4. Jika Anda menjalankan skrip Main.ipynb , Anda dapat mencoba mengirim beberapa permintaan pos menggunakan permintaan.ipynb atau menggunakan layanan postman.

Penyebaran Model Flask di Google Compute Engine

Kami pada dasarnya melakukan hal -hal ini dari tutorial Alara Dirik di atas dengan beberapa penyesuaian. Detailnya bisa dibaca [di sini]

1. Pertama, Anda perlu membuat instance VM di Google Compute Engine (GCE). Kami menggunakan Ubuntu 18.04 LTS dan jangan lupa untuk mengizinkan lalu lintas HTTP.
2. Selanjutnya kita perlu mengkonfigurasi aturan firewall untuk flask karena berjalan pada port 5000 di VPC Network> Firewall Rules.
3. Kemudian, kita perlu mengkonfigurasi instance VM kita. Buka VM menggunakan SSH.
4. Setelah itu, kami akan menyiapkan ketergantungan dan lingkungan virtual. Di terminal menjalankan:

 # update system packages, install the required packages, and miniconda
sudo apt-get update
sudo apt-get install bzip2 libxml2-dev libsm6 libxrender1 libfontconfig1
wget https://repo.anaconda.com/miniconda/Miniconda3-4.7.10-Linux-x86_64.sh
bash Miniconda3-4.7.10-Linux-x86_64.sh
# make conda executable
export PATH=/home/ < based on your Google Cloud ' s name>/miniconda3/bin:$PATH
rm Miniconda3-4.7.10-Linux-x86_64.sh
# create and activate a new virtual environment
conda create -n angkoot python=3.7
conda activate angkoot

5. Selanjutnya, kami akan mengkloning repositori ini ke VM. Untuk membuatnya lebih mudah, kami telah memindahkan flask_model.py , keras_model.h5 , main.py , dan main_dataform.py (tambahan) ke folder root repositori ini. Jadi, folder root harus terlihat seperti ini:

 CAP0104-Capstone-Project
│   README.md
│   flask_model.py                  # Functions to preprocess the input data    
│   keras_model.h5                  # Keras saved model to be loaded in Flask
│   main.py                         # Flask model app to predict continuosly
│   main_dataform.py                # Flask model app to predict with data form
│   requirements.txt                # To install the dependencies

6. Kemudian, kita perlu menginstal dependensi dari persyaratan.txt di lingkungan virtual dan mulai menjalankan skrip main.py :

 cd CAP0104-Capstone-Project
pip install -r requirements.txt
python main.py

7. Anda dapat memeriksanya apakah itu dilakukan dengan benar dengan mengirim beberapa permintaan posting seperti sebelum menggunakan alamat External-IP VM.
8. Jika dilakukan dengan benar, Anda bisa menggunakan Nginx dan Gunicorn untuk membuat VM dapat menangani permintaan HTTP, karena Flask itu sendiri tidak dapat menanganinya. Kita perlu menginstal Nginx di terminal GCE.

 # you need to go out from repo folder
cd
sudo apt-get install nginx-full
sudo /etc/init.d/nginx start

9. Selanjutnya, kita perlu mengkonfigurasi Nginx.

 # remove default configuration file
sudo rm /etc/nginx/sites-enabled/default
# create a new site configuration file
sudo touch /etc/nginx/sites-available/angkoot_project
sudo ln -s /etc/nginx/sites-available/angkoot_project /etc/nginx/sites-enabled/angkoot_project

10. Sekarang, kami dapat mengedit file konfigurasi.

sudo nano /etc/nginx/sites-enabled/angkoot_project

Kemudian, tambahkan kode ini di bawah ini:

server {
    client_max_body_size 100M ;
    location / {
        proxy_pass http://0.0.0.0:5000 ;
    }
}

11. Kemudian, restart server nginx.

sudo /etc/init.d/nginx restart

12. Terakhir, kita perlu kembali ke folder repo dan mengikat model flask Main.py ke server Gunicorn.

 cd CAP0104-Capstone-Project
gunicorn --bind 0.0.0.0:5000 main:app

13. Sekarang, kita bisa memicu API VM dari mana saja. Dalam proyek kami, kami dapat memicunya dari aplikasi Android kami.

Hasil akhir

Karena aplikasi Android masih dalam pengembangan, Anda dapat memeriksa hasilnya dengan mendapatkan permintaan dan permintaan pasca dengan test_processed.csv dengan nilai -nilai utama 'file' ke http://34.101.176.23/ Untuk mendapatkan permintaan (itu harus menunjukkan "Afrika. prediksi) seperti yang ditunjukkan di bawah ini: