CAP0104 Capstone Project

مشروع Angkoot بواسطة CAP0104 Capstone Project Team (Kirimas) Bangkit Academy 2021

ملخص

Angkoot هو تطبيق له غرض من رقمنة نقل Angkot في سورابايا ، إندونيسيا. الخدمات التي يقدمها Angkoot الآن هي التنبؤ بالأجرة للطلب وتقدير مسافة الرحلة وتسجيل المستخدم.

الاعتمادات

للتنبؤ الأجرة ، نحن مستوحى من Dimitre Oliveira: https://github.com/dimitreoliveira/newyorkcitytaxifare

ومجموعة بيانات التنبؤ الأجرة التي استخدمناها هي من Kaggle. [مجموعة البيانات]

تم إجراء عملية النشر مع Flask to Google Compute Engine باستخدام المساعدة من برنامج Alara Drieb's Tutorial: https://github.com/alaradirik/google-cloud-flask-tutorial [Deployment]

كيف هذا؟

للتنبؤ الأجرة ، نستخدم فقط حوالي 500.000 بيانات من مجموعة البيانات بأكملها. ثم نقوم بتسوية مجموعة البيانات بناءً على إعداد بيانات Dimitre Oliveira مع بعض التعديلات. ثم نبني النموذج باستخدام نموذج Keras. في البداية ، نحاول استخدام مقدر TensorFlow ، وهو نفسه مع Dimitre. ولكن بعد ذلك نقوم بإجراء بعض التعديل حتى لا نستخدم فقط keras في مشروعنا. بعد ذلك ، نقوم بالتدريب وتصدير النموذج المحفوظ. بعد ذلك ، يتم نشر النموذج المحفوظ باستخدام Flask ، مع إضافة Nginx و Unicorn ، في محرك Google Compute. من ذلك ، نحصل على واجهة برمجة التطبيقات التي سيتم تشغيلها لاحقًا من تطبيق Android من أجل تقديم بعض التنبؤات.

خطوة بخطوة

هذه خطوات يمكنك القيام بها:

تدريب النموذج

1. قم بتنزيل مجموعة البيانات من Kaggle. [مجموعة البيانات]
2. استنساخ هذا المستودع

git clone https://github.com/anriza-fanani-bangkit/CAP0104-Capstone-Project/

3. تثبيت المتطلبات

pip install -r requirements.txt

4. المعالجة المسبقة The Train.csv و test.csv من مجموعة البيانات باستخدام برنامج إعداد البيانات .
5. قم بتدريب البيانات باستخدام model_keras.ipynb واحصل على النموذج المحفوظ في تنسيق المخزن المؤقت للبروتوكول (.pb) أو تنسيق HDF5 (.h5). يمكنك أيضًا تحويلها إلى JSON باستخدام محول TFJS ونموذج Tflite باستخدام محول Tflite. يمكنك أيضًا ضبط مقياس الفائقة أو العمارة.

نشر النموذج باستخدام قارورة

1. نحتاج إلى التحقق مما إذا كان يمكن تحميل النموذج أو عدم استخدام load_model.ipynb ، إذا كان يمكن القيام بالتنبؤات ، فنحن في الاتجاه الصحيح.
2. بعد ذلك ، نحتاج إلى إعادة تصميم البرنامج النصي Model_keras حتى يمكن نشره في خادم الويب المحلي باستخدام Flask. لذلك صنعنا flask_model.py للمعالجة المسبقة وتجربة بعض التنبؤات في المضيف المحلي.
3. بعد ذلك ، لدينا برنامجين مختلفين لنشر Flask: flask_using_dataform.ipynb و main.ipynb . إنها في الأساس نفس البرامج النصية ، ولكن مع القليل من الاختلافات. في flask_using_dataform.ipynb ، نستخدم نموذج البيانات لإجراء تنبؤ عن طريق تحميل ملف CSV و clik زر التنبؤ ، وبالنسبة الرئيسية . main.py أساسا نفس البرنامج النصي ولكن مع تنسيق python.
4. إذا قمت بتشغيل البرنامج النصي main.ipynb ، فيمكنك محاولة إرسال بعض طلبات النشر باستخدام requests.ipynb أو استخدام خدمة Postman.

نشر نموذج Flask في محرك Google Compute

نحن نقوم بشكل أساسي بهذه الأشياء من برنامج Alara Dirik's Tutorial أعلاه مع بعض التعديل. يمكن قراءة التفاصيل [هنا]

1. أولاً ، تحتاج إلى إنشاء مثيل VM في Google Compute Engine (GCE). نحن نستخدم Ubuntu 18.04 LTS ولا ننسى السماح لحركة HTTP.
2. بعد ذلك ، نحتاج إلى تكوين قواعد جدار الحماية للفلاسك لأنه يعمل على المنفذ 5000 في شبكة جدار الحماية.
3. ثم ، نحتاج إلى تكوين مثيل VM الخاص بنا. افتح VM باستخدام SSH.
4. بعد ذلك ، سنقوم بإعداد التبعيات والبيئة الافتراضية. في المدى النهائي:

 # update system packages, install the required packages, and miniconda
sudo apt-get update
sudo apt-get install bzip2 libxml2-dev libsm6 libxrender1 libfontconfig1
wget https://repo.anaconda.com/miniconda/Miniconda3-4.7.10-Linux-x86_64.sh
bash Miniconda3-4.7.10-Linux-x86_64.sh
# make conda executable
export PATH=/home/ < based on your Google Cloud ' s name>/miniconda3/bin:$PATH
rm Miniconda3-4.7.10-Linux-x86_64.sh
# create and activate a new virtual environment
conda create -n angkoot python=3.7
conda activate angkoot

5. بعد ذلك ، سوف نستنسخ هذا المستودع إلى VM. من أجل تسهيل الأمر ، قمنا بنقل flask_model.py و keras_model.h5 و main.py و main_datform.py (إضافي) إلى المجلد الجذري لهذا المستودع. لذلك ، يجب أن يبدو المجلد الجذري هكذا:

 CAP0104-Capstone-Project
│   README.md
│   flask_model.py                  # Functions to preprocess the input data    
│   keras_model.h5                  # Keras saved model to be loaded in Flask
│   main.py                         # Flask model app to predict continuosly
│   main_dataform.py                # Flask model app to predict with data form
│   requirements.txt                # To install the dependencies

6. بعد ذلك ، نحتاج إلى تثبيت التبعيات من المتطلبات. txt في البيئة الافتراضية والبدء في تشغيل البرنامج النصي main.py :

 cd CAP0104-Capstone-Project
pip install -r requirements.txt
python main.py

7. يمكنك التحقق من ذلك ما إذا كان يتم ذلك بشكل صحيح عن طريق إرسال بعض طلبات النشر مثل قبل استخدام عنوان IP الخارجي VM.
8. إذا تم ذلك بشكل صحيح ، فيمكنك استخدام Nginx و Gunicorn لجعل VM يمكنه التعامل مع طلبات HTTP ، لأن Flask نفسها لا يمكنها التعامل معها. نحن بحاجة إلى تثبيت nginx في محطة GCE.

 # you need to go out from repo folder
cd
sudo apt-get install nginx-full
sudo /etc/init.d/nginx start

9. بعد ذلك ، نحتاج إلى تكوين NGINX.

 # remove default configuration file
sudo rm /etc/nginx/sites-enabled/default
# create a new site configuration file
sudo touch /etc/nginx/sites-available/angkoot_project
sudo ln -s /etc/nginx/sites-available/angkoot_project /etc/nginx/sites-enabled/angkoot_project

10. الآن ، قد نقوم بتحرير ملف التكوين.

sudo nano /etc/nginx/sites-enabled/angkoot_project

ثم ، أضف هذا الرمز أدناه:

server {
    client_max_body_size 100M ;
    location / {
        proxy_pass http://0.0.0.0:5000 ;
    }
}

11. ثم ، أعد تشغيل خادم Nginx.

sudo /etc/init.d/nginx restart

12. أخيرًا ، نحتاج إلى العودة إلى مجلد Repo وربط نموذج Flask Main.py إلى خادم Gunicorn.

 cd CAP0104-Capstone-Project
gunicorn --bind 0.0.0.0:5000 main:app

13. الآن ، يمكننا تشغيل واجهة برمجة تطبيقات VM من أي مكان. في مشروعنا ، قد نطلقه من تطبيق Android الخاص بنا.

النتيجة النهائية

نظرًا لتطبيق Android لا يزال قيد التطوير ، يمكنك التحقق من النتيجة عن طريق الحصول على الطلبات وطلبات النشر باستخدام test_procound.csv مع "ملفات" المفاتيح إلى http://34.101.176.23/ للحصول على طلبات الحصول على طلب (يجب أن تظهر "kirimas هنا") التنبؤات) كما هو موضح أدناه: