CAP0104 Capstone Project

CAP0104 CAPSTONE Project Team（Kirimas）angkoot Project Mangkit Academy 2021

概述

Angkoot是一个应用程序，其目的是将印度尼西亚萨拉巴亚的Angkot运输数字化。 Angkoot现在提供的服务是订单，旅行距离估计和用户注册的票价预测。

学分

对于票价预测，我们的灵感来自Dimitre Oliveira：https：//github.com/dimitreoliveira/newyorkcitytaxifare

我们使用的票价预测数据集来自Kaggle。 [数据集]

使用Alara Dirik的教程的帮助：https：//github.com/alaradirik/google-cloud-flask-tutorial [exployment]使用Alara Dirik的教程的帮助[部署]

如何？

对于票价预测，我们仅使用了整个数据集中的500.000个数据。然后，我们基于Dimitre Oliveira数据制备预处理数据集进行了一些调整。然后我们使用KERAS模型构建模型。首先，我们尝试使用Dimitre的TensorFlow估计器。但是随后我们进行了一些调整，以便我们仅在项目中使用Keras。之后，我们进行培训并导出保存的模型。接下来，使用烧瓶，加上Nginx和Unicorn将保存的模型部署到Google Compute引擎中。由此，我们获得了后来将从Android应用触发的API，以做出一些预测。

逐步

这些是您可以做的步骤：

训练模型

1. 从Kaggle下载数据集。 [数据集]
2. 克隆这个存储库

git clone https://github.com/anriza-fanani-bangkit/CAP0104-Capstone-Project/

3. 安装需求.txt

pip install -r requirements.txt

4. 使用Data Arechation.ipynb脚本从数据集中进行预处理train.csv和test.csv ，以获取用于培训的数据。
5. 使用model_keras.ipynb训练数据，并在协议缓冲区（.pb）格式或HDF5（.H5）格式中获取保存的模型。您也可以使用TFLITE转换器使用TFJS转换器和TFLITE模型将它们转换为JSON。您也可以调整超参数或体系结构。

使用烧瓶的模型部署

1. 我们需要检查是否可以使用load_model.ipynb加载模型，如果可以完成预测，那么我们的方式是正确的。
2. 之后，我们需要重新设计model_keras脚本，以便可以使用烧瓶部署在本地Web服务器中。因此，我们制作了blask_model.py进行预处理，并在Local主持器中尝试一些预测。
3. 接下来，我们有两个不同的烧瓶部署脚本： flask_using_dataform.ipynb和main.ipynb 。它基本上是相同的脚本，但差异一点。在flask_using_dataform.ipynb中，我们使用数据表来通过上传CSV文件和Clik“预测”按钮进行预测，对于main.ipynb ，我们删除了数据表格，以便将其部署在Google Compute Engine中，以便可以直接完成预测。 main.py基本上是相同的脚本，但具有python格式。
4. 如果您运行main.ipynb脚本，则可以尝试使用requests.ipynb或使用Postman Service发送一些发布请求。

Google计算引擎中的烧瓶模型部署

我们基本上是在上面的Alara Dirik的教程中做这些事情，并进行了一些调整。详细信息可以阅读[此处]

1. 首先，您需要在Google Compute Engine（GCE）中制作VM实例。我们正在使用Ubuntu 18.04 LTS，不要忘记允许HTTP流量。
2. 接下来，我们需要为烧瓶配置防火墙规则，因为它在VPC Network> Firewall规则中在端口5000上运行。
3. 然后，我们需要配置我们的VM实例。使用SSH打开VM。
4. 之后，我们将准备依赖关系和虚拟环境。在终端运行中：

 # update system packages, install the required packages, and miniconda
sudo apt-get update
sudo apt-get install bzip2 libxml2-dev libsm6 libxrender1 libfontconfig1
wget https://repo.anaconda.com/miniconda/Miniconda3-4.7.10-Linux-x86_64.sh
bash Miniconda3-4.7.10-Linux-x86_64.sh
# make conda executable
export PATH=/home/ < based on your Google Cloud ' s name>/miniconda3/bin:$PATH
rm Miniconda3-4.7.10-Linux-x86_64.sh
# create and activate a new virtual environment
conda create -n angkoot python=3.7
conda activate angkoot

5. 接下来，我们将把这个存储库克隆到VM。为了使其更容易，我们将Blask_Model.py ， Keras_model.h5 ， main.py和main_dataform.py （附加）移动到了此存储库的根文件夹。因此，根文件夹应该看起来像这样：

 CAP0104-Capstone-Project
│   README.md
│   flask_model.py                  # Functions to preprocess the input data    
│   keras_model.h5                  # Keras saved model to be loaded in Flask
│   main.py                         # Flask model app to predict continuosly
│   main_dataform.py                # Flask model app to predict with data form
│   requirements.txt                # To install the dependencies

6. 然后，我们需要在虚拟环境中安装来自需求的依赖项。

 cd CAP0104-Capstone-Project
pip install -r requirements.txt
python main.py

7. 您可以通过在使用VM外部IP地址之前发送一些帖子请求来检查它是否正确完成。
8. 如果完成正确，则可以使用Nginx和Gunicorn来制作VM可以处理HTTP请求，因为烧瓶本身无法处理。我们需要在GCE终端安装NGINX。

 # you need to go out from repo folder
cd
sudo apt-get install nginx-full
sudo /etc/init.d/nginx start

9. 接下来，我们需要配置NGINX。

 # remove default configuration file
sudo rm /etc/nginx/sites-enabled/default
# create a new site configuration file
sudo touch /etc/nginx/sites-available/angkoot_project
sudo ln -s /etc/nginx/sites-available/angkoot_project /etc/nginx/sites-enabled/angkoot_project

10. 现在，我们可以编辑配置文件。

sudo nano /etc/nginx/sites-enabled/angkoot_project

然后，在下面添加此代码：

server {
    client_max_body_size 100M ;
    location / {
        proxy_pass http://0.0.0.0:5000 ;
    }
}

11. 然后，重新启动NGINX服务器。

sudo /etc/init.d/nginx restart

12. 最后，我们需要返回repo文件夹并将烧瓶模型main.py绑定到Gunicorn Server。

 cd CAP0104-Capstone-Project
gunicorn --bind 0.0.0.0:5000 main:app

13. 现在，我们可以从任何地方触发VM API。在我们的项目中，我们可能会从Android应用程序触发它。

最终结果

由于Android App仍在开发中，您可以通过获取请求和发布test_processed.csv的请求来检查结果预测）如下所示：