minigpt4.cpp

minigpt4.cpp

استنتاج minigpt4 في C/C ++ النقي.

وصف

الهدف الرئيسي من minigpt4.cpp هو تشغيل minigpt4 باستخدام قياس كمي 4 بت باستخدام مكتبة GGML.

العرض التوضيحي

الاستخدام

1. استنساخ الريبو

المتطلبات : git

git clone --recursive https://github.com/Maknee/minigpt4.cpp
cd minigpt4.cpp

2. الحصول على المكتبة

الخيار 1: تنزيل ثنائي مسبق

Windows / Linux / MacOS

انتقل إلى الإصدارات واستخراج ملف مكتبة minigpt4 في دليل المستودع.

الخيار 2: إنشاء المكتبة يدويًا

النوافذ

المتطلبات : Cmake ، Visual Studio و Git

 cmake .
cmake --build . --config Release

binReleaseminigpt4.dll يجب إنشاء

Linux

المتطلبات : Cmake (Ubuntu: sudo apt install cmake )

cmake .
cmake --build . --config Release

minigpt4.so يجب إنشاء

ماكوس

المتطلبات : cmake (MacOS: brew install cmake )

cmake .
cmake --build . --config Release

minigpt4.dylib يجب إنشاء

ملاحظة: إذا قمت ببناء مع OpenCV (مما يسمح بميزات مثل التحميل والمعالجة المسبقة داخل المكتبة نفسها) ، قم بتعيين MINIGPT4_BUILD_WITH_OPENCV إلى ON CMakeLists.txt أو بناء مع -DMINIGPT4_BUILD_WITH_OPENCV=ON معلمة مع cmake cli.

3. الحصول على النموذج

الخيار 1: تنزيل نموذج MINIGPT4 المسبق مسبقًا

تتوفر النماذج المسبقة مسبقًا على وجه المعانقة ~ 7b أو 13b.

موصى به للحصول على نتائج موثوقة ، ولكن سرعة الاستدلال البطيئة: minigpt4-13b-F16.bin

الخيار 2: تحويل وتحديد نموذج Pytorch

المتطلبات : Python 3.x و Pytorch.

استنساخ مستودع Minigpt-4 وأداء الإعداد

 cd minigpt4
git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4
conda env create -f environment.yml
conda activate minigpt4

قم بتنزيل نقطة التفتيش المسبق في مستودع Minigpt-4 ضمن Checkpoint Aligned with Vicuna 7B أو Checkpoint Aligned with Vicuna 13B أو قم بتنزيلها من Luggingface Link لـ 7b أو 13b

تحويل الأوزان النموذج إلى تنسيق GGML

النوافذ

نموذج 7B

 cd minigpt4
python convert.py C:pretrained_minigpt4_7b.pth --ftype=f16

نموذج 13B

 cd minigpt4
python convert.py C:pretrained_minigpt4.pth --ftype=f16

Linux / Macos

نموذج 7B

python convert.py ~ /Downloads/pretrained_minigpt4_7b.pth --outtype f16

نموذج 13B

python convert.py ~ /Downloads/pretrained_minigpt4.pth --outtype f16

minigpt4-7B-f16.bin أو minigpt4-13B-f16.bin يجب إنشاء

4. الحصول على نموذج Vicuna

الخيار 1: تنزيل نموذج Vicuna-V0 المسبق مسبقًا

تتوفر النماذج المسبقة مسبقًا على وجه المعانقة

موصى به للحصول على نتائج موثوقة وسرعة الاستدلال اللائقة: GGML-VICUNA-13B-V0-Q5_K.BIN

الخيار 2: تحويل وتحديد نموذج Vicuna-V0

المتطلبات : Python 3.x و Pytorch.

اتبع الدليل من minigpt4 للحصول على نموذج Vicuna-V0.

ثم ، clone llama.cpp

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake .
cmake --build . --config Release

تحويل النموذج إلى GGML

python convert.py < path-to-model >

كمية النموذج

python quanitize < path-to-model > < output-model > Q4_1

5. الجري

اختبار إذا كان Minigpt4 يعمل عن طريق الاتصال بما يلي ، واستبدال minigpt4-13B-f16.bin و ggml-vicuna-13B-v0-q5_k.bin مع النماذج الخاصة بك

 cd minigpt4
python minigpt4_library.py minigpt4-13B-f16.bin ggml-vicuna-13B-v0-q5_k.bin

webui

تثبيت متطلبات webui

pip install -r requirements.txt

بعد ذلك ، قم بتشغيل webui ، واستبدال minigpt4-13B-f16.bin و ggml-vicuna-13B-v0-q5_k.bin مع النماذج الخاصة بك

python webui.py minigpt4-13B-f16.bin ggml-vicuna-13B-v0-q5_k.bin

يجب أن يحتوي الإخراج على شيء مثل ما يلي:

Running on local URL:  http://127.0.0.1:7860

To create a public link, set ` share=True ` in `launch () ` .

انتقل إلى http://127.0.0.1:7860 في متصفحك ويجب أن تكون قادرًا على التفاعل مع webui.