CAP0104 Capstone Project

CAP0104 CAPSTONE Project Team（Kirimas）angkoot Project Mangkit Academy 2021

概述

Angkoot是一個應用程序，其目的是將印度尼西亞薩拉巴亞的Angkot運輸數字化。 Angkoot現在提供的服務是訂單，旅行距離估計和用戶註冊的票價預測。

學分

對於票價預測，我們的靈感來自Dimitre Oliveira：https：//github.com/dimitreoliveira/newyorkcitytaxifare

我們使用的票價預測數據集來自Kaggle。 [數據集]

使用Alara Dirik的教程的幫助：https：//github.com/alaradirik/google-cloud-flask-tutorial [exployment]使用Alara Dirik的教程的幫助[部署]

如何？

對於票價預測，我們僅使用了整個數據集中的500.000個數據。然後，我們基於Dimitre Oliveira數據製備預處理數據集進行了一些調整。然後我們使用KERAS模型構建模型。首先，我們嘗試使用Dimitre的TensorFlow估計器。但是隨後我們進行了一些調整，以便我們僅在項目中使用Keras。之後，我們進行培訓並導出保存的模型。接下來，使用燒瓶，加上Nginx和Unicorn將保存的模型部署到Google Compute引擎中。由此，我們獲得了後來將從Android應用觸發的API，以做出一些預測。

逐步

這些是您可以做的步驟：

訓練模型

1. 從Kaggle下載數據集。 [數據集]
2. 克隆這個存儲庫

git clone https://github.com/anriza-fanani-bangkit/CAP0104-Capstone-Project/

3. 安裝需求.txt

pip install -r requirements.txt

4. 使用Data Arechation.ipynb腳本從數據集中進行預處理train.csv和test.csv ，以獲取用於培訓的數據。
5. 使用model_keras.ipynb訓練數據，並在協議緩衝區（.pb）格式或HDF5（.H5）格式中獲取保存的模型。您也可以使用TFLITE轉換器使用TFJS轉換器和TFLITE模型將它們轉換為JSON。您也可以調整超參數或體系結構。

使用燒瓶的模型部署

1. 我們需要檢查是否可以使用load_model.ipynb加載模型，如果可以完成預測，那麼我們的方式是正確的。
2. 之後，我們需要重新設計model_keras腳本，以便可以使用燒瓶部署在本地Web服務器中。因此，我們製作了blask_model.py進行預處理，並在Local主持器中嘗試一些預測。
3. 接下來，我們有兩個不同的燒瓶部署腳本： flask_using_dataform.ipynb和main.ipynb 。它基本上是相同的腳本，但差異一點。在flask_using_dataform.ipynb中，我們使用數據表來通過上傳CSV文件和Clik“預測”按鈕進行預測，對於main.ipynb ，我們刪除了數據表格，以便將其部署在Google Compute Engine中，以便可以直接完成預測。 main.py基本上是相同的腳本，但具有python格式。
4. 如果您運行main.ipynb腳本，則可以嘗試使用requests.ipynb或使用Postman Service發送一些發布請求。

Google計算引擎中的燒瓶模型部署

我們基本上是在上面的Alara Dirik的教程中做這些事情，並進行了一些調整。詳細信息可以閱讀[此處]

1. 首先，您需要在Google Compute Engine（GCE）中製作VM實例。我們正在使用Ubuntu 18.04 LTS，不要忘記允許HTTP流量。
2. 接下來，我們需要為燒瓶配置防火牆規則，因為它在VPC Network> Firewall規則中在端口5000上運行。
3. 然後，我們需要配置我們的VM實例。使用SSH打開VM。
4. 之後，我們將準備依賴關係和虛擬環境。在終端運行中：

 # update system packages, install the required packages, and miniconda
sudo apt-get update
sudo apt-get install bzip2 libxml2-dev libsm6 libxrender1 libfontconfig1
wget https://repo.anaconda.com/miniconda/Miniconda3-4.7.10-Linux-x86_64.sh
bash Miniconda3-4.7.10-Linux-x86_64.sh
# make conda executable
export PATH=/home/ < based on your Google Cloud ' s name>/miniconda3/bin:$PATH
rm Miniconda3-4.7.10-Linux-x86_64.sh
# create and activate a new virtual environment
conda create -n angkoot python=3.7
conda activate angkoot

5. 接下來，我們將把這個存儲庫克隆到VM。為了使其更容易，我們將Blask_Model.py ， Keras_model.h5 ， main.py和main_dataform.py （附加）移動到了此存儲庫的根文件夾。因此，根文件夾應該看起來像這樣：

 CAP0104-Capstone-Project
│   README.md
│   flask_model.py                  # Functions to preprocess the input data    
│   keras_model.h5                  # Keras saved model to be loaded in Flask
│   main.py                         # Flask model app to predict continuosly
│   main_dataform.py                # Flask model app to predict with data form
│   requirements.txt                # To install the dependencies

6. 然後，我們需要在虛擬環境中安裝來自需求的依賴項。

 cd CAP0104-Capstone-Project
pip install -r requirements.txt
python main.py

7. 您可以通過在使用VM外部IP地址之前發送一些帖子請求來檢查它是否正確完成。
8. 如果完成正確，則可以使用Nginx和Gunicorn來製作VM可以處理HTTP請求，因為燒瓶本身無法處理。我們需要在GCE終端安裝NGINX。

 # you need to go out from repo folder
cd
sudo apt-get install nginx-full
sudo /etc/init.d/nginx start

9. 接下來，我們需要配置NGINX。

 # remove default configuration file
sudo rm /etc/nginx/sites-enabled/default
# create a new site configuration file
sudo touch /etc/nginx/sites-available/angkoot_project
sudo ln -s /etc/nginx/sites-available/angkoot_project /etc/nginx/sites-enabled/angkoot_project

10. 現在，我們可以編輯配置文件。

sudo nano /etc/nginx/sites-enabled/angkoot_project

然後，在下面添加此代碼：

server {
    client_max_body_size 100M ;
    location / {
        proxy_pass http://0.0.0.0:5000 ;
    }
}

11. 然後，重新啟動NGINX服務器。

sudo /etc/init.d/nginx restart

12. 最後，我們需要返回repo文件夾並將燒瓶模型main.py綁定到Gunicorn Server。

 cd CAP0104-Capstone-Project
gunicorn --bind 0.0.0.0:5000 main:app

13. 現在，我們可以從任何地方觸發VM API。在我們的項目中，我們可能會從Android應用程序觸發它。

最終結果

由於Android App仍在開發中，您可以通過獲取請求和發布test_processed.csv的請求來檢查結果預測）如下所示：