red ollama

اذهب redis ollama

TL ؛ د

git clone " https://github.com/davidhintelmann/red-ollama.git "
go build - o " llm.exe "
. llm.exe

استخدم علامة p لإدخال موجه

. llm.exe - p " tell me a joke "

استخدم علامة M لإدخال النموذج الذي تريد استخدامه

. llm.exe - p " tell me a joke " - m " phi3 " 

ملخص

هذا الريبو هو مثال على كيفية استخدام لغة البرمجة GO لإرسال مطالبات إلى Ollama Server المستضافة محليًا. باستخدام Ollama يمكن للمرء أن يطلب مطالبات من LLM أو SLM المستضافة محليًا.

على سبيل المثال ، يمكنك تنزيل وخدمة:

• Microsoft's PHI3 SLM
• meta's llama3.1 llm

بالإضافة إلى ذلك ، باستخدام مطالبات Redis إلى ذاكرة التخزين المؤقت مع ردودهم

قبل استخدام هذا الريبو

المتطلبات الأساسية:

1. تحميل اذهب
2. تثبيت Ollama
3. قم بتثبيت Redis على Windows

استجابات ذاكرة التخزين المؤقت

تتمثل المقاربة البسيطة لاستخدام Redis في مخبأات ذاكرة التخزين المؤقت إلى جانب استجابتها ، ثم إذا دخل المستخدم في نفس الموجه مرتين ، فسيتم إرجاع النتيجة المخزنة مؤقتًا بدلاً من ذلك.

تم تطوير هذا على Windows 11 ويمكن للمرء استخدام WSL 2 لتثبيت Redis على Windows.

حذر

يستخدم هذا المثال فقط سلاسل redis لتخزين بيانات ذاكرة التخزين المؤقت.

من مستندات redis

على غرار صفائف البايت ، تخزن سلاسل Redis تسلسل البايتات ، بما في ذلك النص ، والأشياء المسلسل ، والقيم المضادة ، والمصفوفات الثنائية.

هناك أنواع أخرى أيضًا ، على سبيل المثال:

• التجزئة
• قائمة
• الجيولوجي

إذا قمت بتثبيت Redis Stack ، فيمكنك أيضًا تخزين البيانات كـ JSON ، مزيد من المعلومات هنا.

غالبًا ما يكون LLMs إخراج استجاباتهم في JSON وتخزين البيانات في نفس التنسيق سيكون النهج المثالي لاتخاذها.