CAP0104 Capstone Project

โครงการ Angkoot โดย CAP0104 Capstone Project Team (Kirimas) Bangkit Academy 2021

ภาพรวม

Angkoot เป็นแอพที่มีจุดประสงค์ในการส่งดิจิตอล Angkot Transportation ในสุราบายาประเทศอินโดนีเซีย บริการที่ Angkoot มีให้ในขณะนี้คือการคาดการณ์ค่าโดยสารสำหรับการสั่งซื้อการประมาณระยะการเดินทางและการลงทะเบียนผู้ใช้

การให้เครดิต

สำหรับการทำนายค่าโดยสารเราได้รับแรงบันดาลใจจาก Dimitre Oliveira: https://github.com/dimitreiveira/newyorkcitytaxifare

และชุดข้อมูลการทำนายค่าโดยสารที่เราใช้มาจาก Kaggle [ชุดข้อมูล]

กระบวนการปรับใช้กับ Flask to Google Compute Engine ได้ดำเนินการโดยใช้ความช่วยเหลือจากการสอนของ Alara Dirik: https://github.com/alaradirik/google-cloud-flask-tutorial [การปรับใช้]

เป็นอย่างไรบ้าง?

สำหรับการทำนายค่าโดยสารเราใช้ข้อมูลเพียง 500,000 ข้อมูลจากชุดข้อมูลทั้งหมด จากนั้นเราประมวลผลชุดข้อมูลล่วงหน้าตามการเตรียมข้อมูล Dimitre Oliveira ด้วยการปรับเปลี่ยนบางอย่าง จากนั้นเราก็สร้างโมเดลโดยใช้โมเดล Keras ตอนแรกเราพยายามใช้ตัวประมาณ TensorFlow เช่นเดียวกันกับ Dimitre's One แต่เราทำการปรับเปลี่ยนบางอย่างเพื่อให้เราใช้ keras ในโครงการของเราเท่านั้น หลังจากนั้นเราทำการฝึกอบรมและส่งออกโมเดลที่บันทึกไว้ ถัดไปโมเดลที่บันทึกไว้จะถูกปรับใช้โดยใช้ Flask ด้วยการเพิ่ม Nginx และ Unicorn ลงใน Google Compute Engine จากนั้นเราจะได้รับ API ที่จะถูกเรียกใช้จากแอพ Android เพื่อทำการคาดการณ์บางอย่าง

ทีละขั้นตอน

นี่คือขั้นตอนที่คุณสามารถทำได้:

ฝึกอบรมแบบจำลอง

1. ดาวน์โหลดชุดข้อมูลจาก Kaggle [ชุดข้อมูล]
2. โคลนที่เก็บนี้

git clone https://github.com/anriza-fanani-bangkit/CAP0104-Capstone-Project/

3. ติดตั้ง ข้อกำหนด. txt

pip install -r requirements.txt

4. ประมวลผลล่วงหน้า Train.csv และ test.csv จากชุดข้อมูลโดยใช้สคริปต์ การเตรียมข้อมูล IPYNB เพื่อรับข้อมูลสำหรับการฝึกอบรม
5. ฝึกอบรมข้อมูลโดยใช้ model_keras.ipynb และรับโมเดลที่บันทึกไว้ในรูปแบบโปรโตคอลบัฟเฟอร์ (.pb) หรือรูปแบบ HDF5 (.h5) นอกจากนี้คุณยังสามารถแปลงเป็น JSON โดยใช้ตัวแปลง TFJS และรุ่น tFlite โดยใช้ตัวแปลง tflite คุณสามารถปรับพารามิเตอร์ hyperparameter หรือสถาปัตยกรรม

การปรับใช้แบบจำลองโดยใช้ขวด

1. เราจำเป็นต้องตรวจสอบว่าโมเดลสามารถโหลดได้หรือไม่ใช้ load_model.ipynb หากการคาดการณ์สามารถทำได้เราจะอยู่ในทางที่ถูกต้อง
2. หลังจากนั้นเราจำเป็นต้องออกแบบสคริปต์ model_keras อีกครั้งเพื่อให้สามารถปรับใช้ในเว็บเซิร์ฟเวอร์ท้องถิ่นโดยใช้ Flask ดังนั้นเราจึงทำ flask_model.py สำหรับการประมวลผลล่วงหน้าและลองทำนายบางอย่างใน localhost
3. ต่อไปเรามีสคริปต์สองสคริปต์ที่แตกต่างกันสำหรับการปรับใช้ขวด: flask_using_dataform.ipynb และ main.ipynb มันเป็นสคริปต์เดียวกัน แต่มีความแตกต่างเล็กน้อย ใน flask_using_dataform.ipynb เรากำลังใช้แบบฟอร์มข้อมูลเพื่อทำการคาดการณ์โดยการอัปโหลดไฟล์ CSV และ CLIK ปุ่มคาดการณ์และสำหรับ Main.ipynb เราลบแบบฟอร์มข้อมูลเพื่อปรับใช้ใน Google Compute Engine Main.py โดยทั่วไปสคริปต์เดียวกัน แต่มีรูปแบบ Python
4. หากคุณเรียกใช้สคริปต์ Main.ipynb คุณสามารถลองส่งคำขอโพสต์โดยใช้ requests.ipynb หรือใช้บริการไปรษณีย์

การปรับใช้รูปแบบ Flask ใน Google Compute Engine

โดยทั่วไปเรากำลังทำสิ่งเหล่านี้จากการสอนของ Alara Dirik ด้านบนด้วยการปรับเปลี่ยน รายละเอียดสามารถอ่านได้ [ที่นี่]

1. ก่อนอื่นคุณต้องสร้างอินสแตนซ์ VM ใน Google Compute Engine (GCE) เราใช้ Ubuntu 18.04 LTS และอย่าลืมอนุญาตให้มีการรับส่งข้อมูล HTTP
2. ต่อไปเราต้องกำหนดค่ากฎไฟร์วอลล์สำหรับ Flask เพราะมันทำงานบนพอร์ต 5000 ในเครือข่าย VPC> กฎไฟร์วอลล์
3. จากนั้นเราจำเป็นต้องกำหนดค่าอินสแตนซ์ VM ของเรา เปิด VM โดยใช้ SSH
4. หลังจากนั้นเราจะเตรียมการพึ่งพาและสภาพแวดล้อมเสมือนจริง บนเทอร์มินัลรัน:

 # update system packages, install the required packages, and miniconda
sudo apt-get update
sudo apt-get install bzip2 libxml2-dev libsm6 libxrender1 libfontconfig1
wget https://repo.anaconda.com/miniconda/Miniconda3-4.7.10-Linux-x86_64.sh
bash Miniconda3-4.7.10-Linux-x86_64.sh
# make conda executable
export PATH=/home/ < based on your Google Cloud ' s name>/miniconda3/bin:$PATH
rm Miniconda3-4.7.10-Linux-x86_64.sh
# create and activate a new virtual environment
conda create -n angkoot python=3.7
conda activate angkoot

5. ต่อไปเราจะโคลนที่เก็บนี้ไปยัง VM เพื่อให้ง่ายขึ้นเราได้ย้าย flask_model.py , keras_model.h5 , main.py และ main_dataform.py (เพิ่มเติม) ไปยังโฟลเดอร์รูทของที่เก็บนี้ ดังนั้นโฟลเดอร์รูทควรมีลักษณะเช่นนี้:

 CAP0104-Capstone-Project
│   README.md
│   flask_model.py                  # Functions to preprocess the input data    
│   keras_model.h5                  # Keras saved model to be loaded in Flask
│   main.py                         # Flask model app to predict continuosly
│   main_dataform.py                # Flask model app to predict with data form
│   requirements.txt                # To install the dependencies

6. จากนั้นเราจำเป็นต้องติดตั้งการพึ่งพาจากข้อกำหนด. txt ในสภาพแวดล้อมเสมือนจริงและเริ่มเรียกใช้สคริปต์ main.py :

 cd CAP0104-Capstone-Project
pip install -r requirements.txt
python main.py

7. คุณสามารถตรวจสอบได้ว่ามันถูกต้องหรือไม่โดยการส่งคำขอโพสต์เช่นก่อนใช้ที่อยู่ External-IP VM
8. หากทำถูกต้องคุณสามารถใช้ Nginx และ Gunicorn เพื่อให้ VM สามารถจัดการคำขอ HTTP ได้เนื่องจาก Flask ไม่สามารถจัดการได้ เราจำเป็นต้องติดตั้ง nginx ในเทอร์มินัล GCE

 # you need to go out from repo folder
cd
sudo apt-get install nginx-full
sudo /etc/init.d/nginx start

9. ต่อไปเราต้องกำหนดค่า Nginx

 # remove default configuration file
sudo rm /etc/nginx/sites-enabled/default
# create a new site configuration file
sudo touch /etc/nginx/sites-available/angkoot_project
sudo ln -s /etc/nginx/sites-available/angkoot_project /etc/nginx/sites-enabled/angkoot_project

10. ตอนนี้เราอาจแก้ไขไฟล์การกำหนดค่า

sudo nano /etc/nginx/sites-enabled/angkoot_project

จากนั้นเพิ่มรหัสนี้ด้านล่าง:

server {
    client_max_body_size 100M ;
    location / {
        proxy_pass http://0.0.0.0:5000 ;
    }
}

11. จากนั้นรีสตาร์ทเซิร์ฟเวอร์ Nginx

sudo /etc/init.d/nginx restart

12. สุดท้ายเราต้องกลับไปที่โฟลเดอร์ repo และผูกโมเดลขวด main.py ไปยังเซิร์ฟเวอร์ Gunicorn

 cd CAP0104-Capstone-Project
gunicorn --bind 0.0.0.0:5000 main:app

13. ตอนนี้เราสามารถเรียก VM API ได้จากทุกที่ ในโครงการของเราเราอาจเรียกใช้จากแอพ Android ของเรา

ผลลัพธ์สุดท้าย

เนื่องจากแอพ Android ยังอยู่ระหว่างการพัฒนาคุณสามารถตรวจสอบผลลัพธ์โดยรับคำขอและคำขอโพสต์ด้วย test_processed.csv พร้อมค่าคีย์ 'ไฟล์' ไปที่ http://34.101.176.23/ สำหรับการร้องขอ การทำนายแบบจำลอง) ดังที่แสดงด้านล่าง: