CAP0104 Capstone Project

Angkoot -Projekt von CAP0104 Capstone Project Team (Kirimas) Bangkit Academy 2021

Überblick

Angkoot ist eine App, die den Angkot -Transport in Surabaya, Indonesien, digitalisiert hat. Die Dienste, die Angkoot jetzt erbringt, sind Tarifvorhersagen für die Bestellung, die Ausschätzung der Auslösestrecke und die Registrierung von Benutzer.

Credits

Für die Tarifvorhersage sind wir von Dimitre Oliveira inspiriert: https://github.com/dimitreoliveira/newyorkcityTaxifare

Und der von uns verwendete Datensatz für die Vorhersage stammt von Kaggle. [Datensatz]

Der Bereitstellungsprozess mit Flask zu Google Compute Engine wurde mithilfe von Alara Diriks Tutorial durchgeführt: https://github.com/alaradirik/google-cloud-flask-tutorial [Bereitstellung]

Wie ist es?

Für die Tarifvorhersage verwenden wir nur rund 500.000 Daten aus dem gesamten Datensatz. Und dann haben wir den Datensatz basierend auf der Vorbereitung von Dimitre Oliveira -Daten mit einigen Anpassungen vorab. Und dann bauen wir das Modell mit dem Keras -Modell auf. Zuerst versuchen wir, den TensorFlow -Schätzer zu verwenden, das auch bei Dimitre's One. Aber dann stellen wir eine gewisse Anpassung vor, damit wir nur Keras in unserem Projekt verwenden. Danach machen wir das Training und exportieren das gespeicherte Modell. Als nächstes wird das gespeicherte Modell unter Verwendung von Flask mit Nginx und Unicorn in Google Compute Engine bereitgestellt. Aus diesem Grund erhalten wir die API, die später aus der Android -App ausgelöst wird, um einige Vorhersagen zu treffen.

Schritt für Schritt

Dies sind Schritte, die Sie ausführen könnten:

Trainieren Sie das Modell

1. Laden Sie den Datensatz von Kaggle herunter. [Datensatz]
2. Klonen Sie dieses Repository

git clone https://github.com/anriza-fanani-bangkit/CAP0104-Capstone-Project/

3. Installieren Sie die Anforderungen.txt

pip install -r requirements.txt

4. Preprocess the Train.csv und test.csv aus dem Datensatz mithilfe von Datenvorbereitungen.IPYNB -Skript, um die Daten für das Training zu erhalten.
5. Trainieren Sie die Daten mit model_keras.ipynb und erhalten Sie das gespeicherte Modell im Protokollpufferformat (.PB) oder im HDF5 (.H5) -Format. Sie können sie auch mit dem TFJS -Konverter und dem TFLite -Modell mit dem TFLite -Konverter in JSON konvertieren. Sie können auch den Hyperparameter oder die Architektur anpassen.

Modellbereitstellung mit Flask

1. Wir müssen überprüfen, ob das Modell geladen oder nicht verwenden könnte oder nicht.
2. Danach müssen wir das Skript model_keras neu gestalten, damit es mit einem Flask auf dem lokalen Webserver bereitgestellt werden kann. Deshalb haben wir Flask_Model.py für die Vorverarbeitung gemacht und einige Vorhersagen in Localhost ausprobieren.
3. Als nächstes haben wir zwei verschiedene Skripte für die Bereitstellung von Flask: Flask_using_dataform.ipynb und main.ipynb . Es sind im Grunde die gleichen Skripte, aber mit ein wenig Unterschieden. In flask_using_dataform.ipynb verwenden wir das Datenformular, um eine Vorhersage durch Hochladen der CSV -Datei und der Clik der Vorhersage -Taste zu erstellen. Für main.ipynb haben wir die Datenformular ausgelöscht, um sie in Google Compute Engine bereitzustellen, damit die Vorhersagen gerade und kontinual erfolgen können. main.py im Grunde das gleiche Skript, aber mit Python -Format.
4. Wenn Sie Main.ipynb -Skript ausführen, können Sie versuchen, einige Post -Anfragen mithilfe von Requests.ipynb oder den Postman -Dienst zu senden.

Bereitstellung des Flaskmodells in Google Compute Engine

Wir tun diese Dinge im Grunde genommen aus Alara Diriks Tutorial oben mit einiger Anpassung. Die Details könnten [hier] gelesen werden

1. Zunächst müssen Sie eine VM -Instanz in Google Compute Engine (GCE) erstellen. Wir verwenden Ubuntu 18.04 LTS und vergessen nicht, den HTTP -Verkehr zuzulassen.
2. Als nächstes müssen wir die Firewall -Regeln für Flask konfigurieren, da es auf Port 5000 in VPC -Netzwerk> Firewall -Regeln ausgeführt wird.
3. Dann müssen wir unsere VM -Instanz konfigurieren. Öffnen Sie die VM mit SSH.
4. Danach werden wir die Abhängigkeiten und die virtuelle Umgebung vorbereiten. Auf dem Terminallauf:

 # update system packages, install the required packages, and miniconda
sudo apt-get update
sudo apt-get install bzip2 libxml2-dev libsm6 libxrender1 libfontconfig1
wget https://repo.anaconda.com/miniconda/Miniconda3-4.7.10-Linux-x86_64.sh
bash Miniconda3-4.7.10-Linux-x86_64.sh
# make conda executable
export PATH=/home/ < based on your Google Cloud ' s name>/miniconda3/bin:$PATH
rm Miniconda3-4.7.10-Linux-x86_64.sh
# create and activate a new virtual environment
conda create -n angkoot python=3.7
conda activate angkoot

5. Als nächstes werden wir dieses Repository in die VM klonen. Um es einfacher zu machen, haben wir die Flask_Model.py , keras_model.h5 , main.py und main_dataform.py (zusätzlich) in den Stammordner dieses Repositorys verschoben. Der Root -Ordner sollte also so aussehen:

 CAP0104-Capstone-Project
│   README.md
│   flask_model.py                  # Functions to preprocess the input data    
│   keras_model.h5                  # Keras saved model to be loaded in Flask
│   main.py                         # Flask model app to predict continuosly
│   main_dataform.py                # Flask model app to predict with data form
│   requirements.txt                # To install the dependencies

6. Anschließend müssen wir die Abhängigkeiten von Anforderungen in der virtuellen Umgebung installieren und das Skript main.py ausführen:

 cd CAP0104-Capstone-Project
pip install -r requirements.txt
python main.py

7. Sie können es überprüfen, ob es richtig erfolgt, indem Sie einige Postanfragen wie vor der Verwendung von VM External-IP-Adresse senden.
8. Wenn es richtig gemacht wird, können Sie Nginx und Gunicorn verwenden, damit die VM HTTP -Anfragen bearbeiten kann, da Flask selbst sie nicht verarbeiten kann. Wir müssen Nginx im GCE -Terminal installieren.

 # you need to go out from repo folder
cd
sudo apt-get install nginx-full
sudo /etc/init.d/nginx start

9. Als nächstes müssen wir die Nginx konfigurieren.

 # remove default configuration file
sudo rm /etc/nginx/sites-enabled/default
# create a new site configuration file
sudo touch /etc/nginx/sites-available/angkoot_project
sudo ln -s /etc/nginx/sites-available/angkoot_project /etc/nginx/sites-enabled/angkoot_project

10. Jetzt können wir die Konfigurationsdatei bearbeiten.

sudo nano /etc/nginx/sites-enabled/angkoot_project

Fügen Sie dann diesen Code unten hinzu:

server {
    client_max_body_size 100M ;
    location / {
        proxy_pass http://0.0.0.0:5000 ;
    }
}

11. Starten Sie dann den Nginx -Server neu.

sudo /etc/init.d/nginx restart

12. Zuletzt müssen wir zum Repo -Ordner zurückkehren und das Flask -Modell main.py an den Gunicorn -Server binden.

 cd CAP0104-Capstone-Project
gunicorn --bind 0.0.0.0:5000 main:app

13. Jetzt könnten wir die VM -API von überall aus auslösen. In unserem Projekt können wir es von unserer Android -App auslösen.

Endergebnis

Because of the Android app is still under development, you may check the result by GET requests and POST requests with test_processed.csv with key values 'files' to http://34.101.176.23/ for GET requests (it should show "Kirimas was here") and http://34.101.176.23/predict for POST requests (it should show json file as a result of model Vorhersagen) wie unten gezeigt: