CAP0104 Capstone Project

CAP0104 Capstone 프로젝트 팀 (Kirimas) Bangkit Academy 2021의 Angkoot Project

개요

Angkoot는 인도네시아 수 라바야에서 앙코트 운송을 디지털화 할 목적이있는 앱입니다. Angkoot가 제공하는 서비스는 주문, 여행 거리 추정 및 사용자 등록에 대한 요금 예측입니다.

크레딧

요금 예측을 위해 우리는 Dimitre Oliveira에서 영감을 받았습니다 : https://github.com/dimitreoliveira/newyorkcitytaxifare

그리고 우리가 사용한 요금 예측 데이터 세트는 Kaggle의 것입니다. [데이터 세트]

Flask to Google Compute Engine을 사용한 배포 프로세스는 Alara Dirik의 튜토리얼의 도움을 사용하여 수행되었습니다 : https://github.com/alaradirik/google-cloud-flask-tutorial [배포]

어때?

요금 예측을 위해 전체 데이터 세트에서 약 500.000 개의 데이터 만 사용하고 있습니다. 그런 다음 Dimitre Oliveira 데이터 준비를 기반으로 데이터 세트를 일부 조정으로 전처리합니다. 그런 다음 Keras 모델을 사용하여 모델을 구축합니다. 처음에는 Dimitre 's One과 마찬가지로 Tensorflow 추정기를 사용하려고합니다. 그러나 우리는 프로젝트에서 keras 만 사용하도록 약간의 조정을합니다. 그 후, 우리는 훈련을하고 저장된 모델을 수출합니다. 다음으로 저장된 모델은 Nginx 및 Unicorn을 추가하여 Flask를 사용하여 Google 컴퓨팅 엔진에 배치됩니다. 그로부터, 우리는 나중에 몇 가지 예측을 위해 Android 앱에서 트리거 될 API를 얻습니다.

단계별

이것들은 당신이 할 수있는 단계입니다.

모델을 훈련하십시오

1. Kaggle에서 데이터 세트를 다운로드하십시오. [데이터 세트]
2. 이 저장소를 복제하십시오

git clone https://github.com/anriza-fanani-bangkit/CAP0104-Capstone-Project/

3. 요구 사항을 설치하십시오 .txt

pip install -r requirements.txt

4. 데이터 준비를 사용하여 데이터 세트에서 train.csv 및 test.csv를 전제로 처리하여 교육용 데이터를 얻으려면 IPYNB 스크립트를 전제로합니다.
5. model_keras.ipynb를 사용하여 데이터를 훈련시키고 저장된 모델을 프로토콜 버퍼 (.pb) 형식 또는 hdf5 (.h5) 형식으로 가져옵니다. TFLITE 변환기를 사용하여 TFJS 변환기 및 TFLITE 모델을 사용하여 JSON으로 변환 할 수도 있습니다. 하이퍼 파라미터 또는 아키텍처를 조정할 수도 있습니다.

플라스크를 사용한 모델 배포

1. 모델에로드 될 수 있는지 또는 Load_Model.ipynB를 사용하지 않는지 확인해야합니다. 예측이 완료 될 수 있다면 올바른 방식으로 제공됩니다.
2. 그런 다음 Flask를 사용하여 로컬 웹 서버에 배치 할 수 있도록 Model_Keras 스크립트를 다시 디자인해야합니다. 따라서 우리는 전처리를 위해 flask_model.py를 만들고 LocalHost에서 몇 가지 예측을 시도했습니다.
3. 다음으로, Flask_using_dataform.ipynb 및 main.ipynb 의 플라스크 배포를위한 두 가지 스크립트가 있습니다. 기본적으로 동일한 스크립트이지만 약간의 차이가 있습니다. flask_using_dataform.ipynb 에서는 CSV 파일을 업로드하고 예측 버튼을 업로드하여 예측을하기 위해 데이터 양식을 사용하고 있으며 Main.ipynb 의 경우 예측을 직접 및 연속적으로 수행 할 수 있도록 Google Compute Engine에 데이터 양식을 지우기 위해 데이터 양식을 지우 셨습니다. main.py 기본적으로 동일한 스크립트이지만 Python 형식이 있습니다.
4. main.ipynb 스크립트를 실행하는 경우 requests.ipynb 또는 Postman Service를 사용하여 일부 게시물 요청을 보낼 수 있습니다.

Google Compute Engine의 플라스크 모델 배포

우리는 기본적으로 Alara Dirik의 튜토리얼에서 약간의 조정을하고 있습니다. 세부 사항을 읽을 수 있습니다 [여기]

1. 먼저 GCE (Google Compute Engine)에서 VM 인스턴스를 만들어야합니다. 우리는 Ubuntu 18.04 LT를 사용하고 있으며 HTTP 트래픽을 허용하는 것을 잊지 않습니다.
2. 다음으로 Flask의 방화벽 규칙은 VPC 네트워크> 방화벽 규칙의 포트 5000에서 실행되기 때문에 Flask의 방화벽 규칙을 구성해야합니다.
3. 그런 다음 VM 인스턴스를 구성해야합니다. SSH를 사용하여 VM을 엽니 다.
4. 그 후, 우리는 종속성과 가상 환경을 준비 할 것입니다. 터미널 실행에서 :

 # update system packages, install the required packages, and miniconda
sudo apt-get update
sudo apt-get install bzip2 libxml2-dev libsm6 libxrender1 libfontconfig1
wget https://repo.anaconda.com/miniconda/Miniconda3-4.7.10-Linux-x86_64.sh
bash Miniconda3-4.7.10-Linux-x86_64.sh
# make conda executable
export PATH=/home/ < based on your Google Cloud ' s name>/miniconda3/bin:$PATH
rm Miniconda3-4.7.10-Linux-x86_64.sh
# create and activate a new virtual environment
conda create -n angkoot python=3.7
conda activate angkoot

5. 다음 으로이 저장소를 VM으로 복제 할 것입니다. 더 쉽게하기 위해 Flask_model.py , keras_model.h5 , main.py 및 main_dataform.py (추가)를이 저장소의 루트 폴더로 이동했습니다. 따라서 루트 폴더는 다음과 같습니다.

 CAP0104-Capstone-Project
│   README.md
│   flask_model.py                  # Functions to preprocess the input data    
│   keras_model.h5                  # Keras saved model to be loaded in Flask
│   main.py                         # Flask model app to predict continuosly
│   main_dataform.py                # Flask model app to predict with data form
│   requirements.txt                # To install the dependencies

6. 그런 다음 가상 환경에서 요구 사항에서 종속성을 설치하고 main.py 스크립트를 실행하기 시작해야합니다.

 cd CAP0104-Capstone-Project
pip install -r requirements.txt
python main.py

7. VM 외부 -IP 주소를 사용하기 전에와 같은 일부 게시물 요청을 보내서 제대로 수행되는지 확인할 수 있습니다.
8. 제대로 완료되면 Flask 자체가 처리 할 수 ​​없기 때문에 Nginx 및 Gunicorn을 사용하여 VM이 HTTP 요청을 처리 할 수 ​​있습니다. GCE 터미널에 nginx를 설치해야합니다.

 # you need to go out from repo folder
cd
sudo apt-get install nginx-full
sudo /etc/init.d/nginx start

9. 다음으로 Nginx를 구성해야합니다.

 # remove default configuration file
sudo rm /etc/nginx/sites-enabled/default
# create a new site configuration file
sudo touch /etc/nginx/sites-available/angkoot_project
sudo ln -s /etc/nginx/sites-available/angkoot_project /etc/nginx/sites-enabled/angkoot_project

10. 이제 구성 파일을 편집 할 수 있습니다.

sudo nano /etc/nginx/sites-enabled/angkoot_project

그런 다음 아래 코드를 추가하십시오.

server {
    client_max_body_size 100M ;
    location / {
        proxy_pass http://0.0.0.0:5000 ;
    }
}

11. 그런 다음 Nginx 서버를 다시 시작하십시오.

sudo /etc/init.d/nginx restart

12. 마지막으로, 우리는 Repo 폴더로 돌아가 Flask Model Main.py를 Gunicorn 서버에 바인딩해야합니다.

 cd CAP0104-Capstone-Project
gunicorn --bind 0.0.0.0:5000 main:app

13. 이제 우리는 어디서나 VM API를 트리거 할 수 있습니다. 프로젝트에서는 Android 앱에서 트리거 될 수 있습니다.

최종 결과

Android 앱이 아직 개발 중이므로 http://34.101.176.23/ (kirimas가 여기에 있었다”)와 http://34.101.176.23/으로 Test_Processed.csv를 통해 요청 및 게시 요청을 확인하여 결과를 확인할 수 있습니다 ( "Kirimas가 여기에 있었다") 및 http:/34.176.23/23/23/23/23/23/23/23/23/23/23/23/23/23/23/23/23/23/23/23/23/23/23/23/23/23/23/23/23/ 예측) 아래와 같이 :