CAP0104 Capstone Project

CAP0104 Capstone Project Team（Kirimas）Bangkit Academy 2021によるAngkootプロジェクト

概要

Angkootは、インドネシアのSurabayaでAngkot輸送をデジタル化する目的を持つアプリです。 Angkootが現在提供しているサービスは、注文、旅行距離の見積もり、およびユーザー登録の運賃予測です。

クレジット

運賃予測のために、私たちはDimitre Oliveiraからインスピレーションを受けています：https：//github.com/dimitreoliveira/newyorkcitytaxifare

そして、私たちが使用した運賃予測データセットはKaggleからです。 [データセット]

Flask to Googleコンピューティングエンジンを使用した展開プロセスは、Alara Dirikのチュートリアルからヘルプを使用して行われました：https：//github.com/alaradirik/google-cloud-flask-tutorial [deployment]

どうですか？

運賃の予測には、データセット全体から約500.000のデータのみを使用しています。そして、いくつかの調整を使用して、Dimitre Oliveiraデータの準備に基づいてデータセットを前処理します。そして、Kerasモデルを使用してモデルを構築します。最初は、Dimitreのものと同じTensorflow推定器を使用しようとします。しかし、その後、プロジェクトでKerasのみを使用するように調整を行います。その後、トレーニングを行い、保存されたモデルをエクスポートします。次に、保存されたモデルは、NginxとUnicornをGoogle Compute Engineに追加してFlaskを使用して展開されます。それから、いくつかの予測を行うために、後でAndroidアプリからトリガーされるAPIを取得します。

ステップバイステップ

これらはあなたができるステップです：

モデルをトレーニングします

1. Kaggleからデータセットをダウンロードします。 [データセット]
2. このリポジトリをクローンします

git clone https://github.com/anriza-fanani-bangkit/CAP0104-Capstone-Project/

3. 要件をインストールします。txt

pip install -r requirements.txt

4. Train.csvとtest.csvをprecrocess datasetからのデータ準備を使用して、dataset.ipynbスクリプトでトレーニング用のデータを取得します。
5. Model_keras.ipynbを使用してデータをトレーニングし、プロトコルバッファー（.pb）形式またはHDF5（.h5）形式で保存されたモデルを取得します。 TFLITEコンバーターを使用してTFJSコンバーターとTfliteモデルを使用してJSONに変換することもできます。また、ハイパーパラメーターまたはアーキテクチャを調整することもできます。

フラスコを使用したモデルの展開

1. モデルをロードできるかどうかを確認する必要があります。Load_model.ipynbを使用してください。
2. その後、Flaskを使用してローカルWebサーバーに展開できるように、Model_Kerasスクリプトを再設計する必要があります。したがって、 flask_model.pyを前処理のために作成し、ローカルホストでいくつかの予測を試しました。
3. 次に、Flask展開用の2つの異なるスクリプトがあります： flask_using_dataform.ipynbとmain.ipynb 。基本的に同じスクリプトですが、少し違いがあります。 flask_using_dataform.ipynbでは、データフォームを使用してCSVファイルをアップロードして予測ボタンをClikすることで予測を行います。 main.pyは基本的に同じスクリプトですが、python形式です。
4. main.ipynbスクリプトを実行すると、 requests.ipynbまたは郵便配達員サービスを使用していくつかの投稿リクエストを送信することができます。

Google Compute Engineでのフラスコモデルの展開

基本的に、上記のAlara Dirikのチュートリアルからこれらのことを調整しています。詳細は読むことができます[こちら]

1. まず、Google Compute Engine（GCE）でVMインスタンスを作成する必要があります。 Ubuntu 18.04 LTSを使用しており、HTTPトラフィックを許可することを忘れないでください。
2. 次に、Flaskのファイアウォールルールを構成する必要があります。これは、VPCネットワーク>ファイアウォールルールでポート5000で実行されているためです。
3. 次に、VMインスタンスを構成する必要があります。 SSHを使用してVMを開きます。
4. その後、依存関係と仮想環境を準備します。ターミナルランで：

 # update system packages, install the required packages, and miniconda
sudo apt-get update
sudo apt-get install bzip2 libxml2-dev libsm6 libxrender1 libfontconfig1
wget https://repo.anaconda.com/miniconda/Miniconda3-4.7.10-Linux-x86_64.sh
bash Miniconda3-4.7.10-Linux-x86_64.sh
# make conda executable
export PATH=/home/ < based on your Google Cloud ' s name>/miniconda3/bin:$PATH
rm Miniconda3-4.7.10-Linux-x86_64.sh
# create and activate a new virtual environment
conda create -n angkoot python=3.7
conda activate angkoot

5. 次に、このリポジトリをVMにクローンします。簡単にするために、 Flask_model.py 、 keras_model.h5 、 main.py 、 main_dataform.py （追加）をこのリポジトリのルートフォルダーに移動しました。したがって、ルートフォルダーは次のようになります。

 CAP0104-Capstone-Project
│   README.md
│   flask_model.py                  # Functions to preprocess the input data    
│   keras_model.h5                  # Keras saved model to be loaded in Flask
│   main.py                         # Flask model app to predict continuosly
│   main_dataform.py                # Flask model app to predict with data form
│   requirements.txt                # To install the dependencies

6. 次に、仮想環境でcompoysomes.txtから依存関係をインストールし、 main.pyスクリプトの実行を開始する必要があります。

 cd CAP0104-Capstone-Project
pip install -r requirements.txt
python main.py

7. VM外部IPアドレスを使用する前に、いくつかの投稿リクエストを送信することにより、正しく行われているかどうかを確認できます。
8. それが正しく行われた場合、Flask自体がそれらを処理できないため、NginxとGunicornを使用してVMにHTTP要求を処理できるようにすることができます。 GCEターミナルにNGINXをインストールする必要があります。

 # you need to go out from repo folder
cd
sudo apt-get install nginx-full
sudo /etc/init.d/nginx start

9. 次に、nginxを構成する必要があります。

 # remove default configuration file
sudo rm /etc/nginx/sites-enabled/default
# create a new site configuration file
sudo touch /etc/nginx/sites-available/angkoot_project
sudo ln -s /etc/nginx/sites-available/angkoot_project /etc/nginx/sites-enabled/angkoot_project

10. これで、構成ファイルを編集する場合があります。

sudo nano /etc/nginx/sites-enabled/angkoot_project

次に、このコードを以下に追加します。

server {
    client_max_body_size 100M ;
    location / {
        proxy_pass http://0.0.0.0:5000 ;
    }
}

11. 次に、nginxサーバーを再起動します。

sudo /etc/init.d/nginx restart

12. 最後に、Repoフォルダーに戻り、Flask Model Main.pyをGunicornサーバーにバインドする必要があります。

 cd CAP0104-Capstone-Project
gunicorn --bind 0.0.0.0:5000 main:app

13. これで、どこからでもVM APIをトリガーできます。プロジェクトでは、Androidアプリからトリガーする場合があります。

最終結果

Androidアプリはまだ開発中であるため、GETリクエストのためにhttp://34.101.176.23/へのキー値「ファイル」を備えたtest_processed.csvを使用して、Get Requests and Post Requestsを確認することで結果を確認できます（「Kirimasはここ」を表示する必要があります」）以下に示すように、モデル予測の）：