CAP0104 Capstone Project

Проект Angkoot от CAP0104 Команда Project Capstone (Kirimas) Bangkit Academy 2021

Обзор

Angkoot - это приложение, которое имеет целью оцифровать транспорт Angkot в Сурабая, Индонезия. Услуги, которые теперь предоставляет Angkoot, являются прогнозом проезда для заказа, оценки расстояния поездки и регистрации пользователей.

Кредиты

Для прогнозирования тарифов мы вдохновлены Dimitre Oliveira: https://github.com/dimitreoliveira/newyorkcitytaxifare

И набор данных прогнозирования тарифов, который мы использовали из Kaggle. [Набор данных]

Процесс развертывания с Flask to Google Compute был выполнен с использованием учебника Alara Dirik: https://github.com/alaradirik/google-cloud-flask-tutorial [развертывание]

Как это?

Для прогнозирования тарифов мы используем только около 500 000 данных из всего набора данных. И затем мы предварительно обрабатываем набор данных на основе подготовки данных Dimitre Oliveira с некоторыми корректировками. А потом мы строим модель, используя модель Keras. Сначала мы стараемся использовать оценку TensorFlow, то же самое с Dimitre's One. Но затем мы вносим некоторую корректировку, чтобы мы использовали только кера в нашем проекте. После этого мы проводим обучение и экспортируем сохраненную модель. Затем сохраненная модель развертывается с использованием колбы с добавлением Nginx и Unicorn, в Google Compute Engine. Из этого мы получаем API, который позже будет запускается из приложения Android, чтобы сделать некоторые прогнозы.

Шаг за шагом

Это шаги, которые вы могли бы сделать:

Тренировать модель

1. Загрузите набор данных из Kaggle. [Набор данных]
2. Клонировать это хранилище

git clone https://github.com/anriza-fanani-bangkit/CAP0104-Capstone-Project/

3. Установите требования.txt

pip install -r requirements.txt

4. Предварительно обрабатывать train.csv и test.csv из набора данных с использованием сценария Preparation.ipynb для получения данных для обучения.
5. Обучите данные, используя model_keras.ipynb и получите сохраненную модель в формате протокола (.pb) или формате HDF5 (.h5). Вы также можете преобразовать их в JSON, используя TFJS Converter и Tflite Model с использованием Tflite Converter. Вы также можете настроить гиперпараметр или архитектуру.

Развертывание модели с использованием колбы

1. Нам нужно проверить, может ли модель быть загружена или не использовать load_model.ipynb , если прогнозы могут быть сделаны, то мы правильно.
2. После этого нам необходимо переосмыслить скрипт Model_keras, чтобы его можно было развернуть на локальном веб-сервере с помощью колбы. Поэтому мы сделали flask_model.py для предварительной обработки и попробовать некоторые прогнозы в Localhost.
3. Далее у нас есть два разных сценария для развертывания колбы: flask_using_dataform.ipynb и main.ipynb . Это в основном те же сценарии, но с небольшими различиями. В flask_using_dataform.ipynb мы используем форму данных, чтобы сделать прогноз, загрузив файл CSV и клика кнопки «Прогнозирование», а для main.ipynb мы стерли форму данных, чтобы развернуть его в Google Compute Engine, чтобы прогнозы могли быть выполнены прямо и непрерывно. main.py в основном тот же сценарий, но с форматом Python.
4. Если вы запустите сценарий main.ipynb , вы можете попытаться отправить несколько запросов по почте с помощью requests.ipynb или использования услуги почтальона.

Развертывание модели фланг в Google Compute Engine

Мы в основном делаем эти вещи из учебника Алара Дирик выше с некоторой корректировкой. Подробности можно было прочитать [здесь]

1. Во -первых, вам нужно сделать экземпляр VM в Google Compute Engine (GCE). Мы используем Ubuntu 18.04 LTS и не забываем разрешить HTTP -трафик.
2. Затем нам нужно настроить правила брандмауэра для Flask, потому что он работает в порте 5000 в VPC Network> Правила брандмауэра.
3. Затем нам нужно настроить наш экземпляр VM. Откройте виртуальную машину, используя SSH.
4. После этого мы подготовим зависимости и виртуальную среду. На терминале пробег:

 # update system packages, install the required packages, and miniconda
sudo apt-get update
sudo apt-get install bzip2 libxml2-dev libsm6 libxrender1 libfontconfig1
wget https://repo.anaconda.com/miniconda/Miniconda3-4.7.10-Linux-x86_64.sh
bash Miniconda3-4.7.10-Linux-x86_64.sh
# make conda executable
export PATH=/home/ < based on your Google Cloud ' s name>/miniconda3/bin:$PATH
rm Miniconda3-4.7.10-Linux-x86_64.sh
# create and activate a new virtual environment
conda create -n angkoot python=3.7
conda activate angkoot

5. Далее мы будем клонировать этот репозиторий в виртуальную машину. Чтобы облегчить это, мы переместили Flask_model.py , Keras_model.h5 , main.py и main_dataform.py (дополнительная) в корневую папку этого репозитория. Итак, корневая папка должна выглядеть так:

 CAP0104-Capstone-Project
│   README.md
│   flask_model.py                  # Functions to preprocess the input data    
│   keras_model.h5                  # Keras saved model to be loaded in Flask
│   main.py                         # Flask model app to predict continuosly
│   main_dataform.py                # Flask model app to predict with data form
│   requirements.txt                # To install the dependencies

6. Затем нам нужно установить зависимости от требований.

 cd CAP0104-Capstone-Project
pip install -r requirements.txt
python main.py

7. Вы можете проверить это, сделано ли это правильно, отправив некоторые запросы Post, например, перед использованием внешнего адреса VM.
8. Если это сделано правильно, вы можете использовать NGINX и стрельбище, чтобы виртуальная машина может обрабатывать HTTP -запросы, потому что сама Flask не может справиться с ними. Нам нужно установить Nginx в терминале GCE.

 # you need to go out from repo folder
cd
sudo apt-get install nginx-full
sudo /etc/init.d/nginx start

9. Далее нам нужно настроить Nginx.

 # remove default configuration file
sudo rm /etc/nginx/sites-enabled/default
# create a new site configuration file
sudo touch /etc/nginx/sites-available/angkoot_project
sudo ln -s /etc/nginx/sites-available/angkoot_project /etc/nginx/sites-enabled/angkoot_project

10. Теперь мы можем отредактировать файл конфигурации.

sudo nano /etc/nginx/sites-enabled/angkoot_project

Затем добавьте этот код ниже:

server {
    client_max_body_size 100M ;
    location / {
        proxy_pass http://0.0.0.0:5000 ;
    }
}

11. Затем перезапустите сервер Nginx.

sudo /etc/init.d/nginx restart

12. Наконец, нам нужно вернуться в папку Repo и связать модель Flask Model .

 cd CAP0104-Capstone-Project
gunicorn --bind 0.0.0.0:5000 main:app

13. Теперь мы могли бы запустить VM API из любого места. В нашем проекте мы можем запустить его из нашего приложения Android.

Конечный результат

Because of the Android app is still under development, you may check the result by GET requests and POST requests with test_processed.csv with key values 'files' to http://34.101.176.23/ for GET requests (it should show "Kirimas was here") and http://34.101.176.23/predict for POST requests (it should show json file as a result of model прогнозы), как показано ниже: