red ollama

Aller redis olllama

tl; dr

git clone " https://github.com/davidhintelmann/red-ollama.git "
go build - o " llm.exe "
. llm.exe

Utilisez le drapeau P pour entrer une invite

. llm.exe - p " tell me a joke "

Utilisez un indicateur M pour saisir le modèle que vous souhaitez utiliser

. llm.exe - p " tell me a joke " - m " phi3 " 

Résumé

Ce dépôt est un exemple de la façon dont on peut utiliser le langage de programmation GO pour envoyer des invites au serveur Ollama hébergé localement. En utilisant Olllama, on peut demander des invites à LLM ou SLM hébergées localement.

Par exemple, vous pouvez télécharger et servir:

• PHI3 SLM de Microsoft
• Meta's Llama3.1 LLM

De plus, l'utilisation de Redis pour mener à cache des invites avec leurs réponses

Avant d'utiliser ce repo

Prérequis:

1. Télécharger Go
2. Installer Olllama
3. Installez Redis sur Windows

Réponses de cache

Une approche simple de l'utilisation de redis consiste à mettre en cache des invites avec leur réponse, puis si un utilisateur entre deux fois dans la même invite, le résultat mis en cache sera renvoyé à la place.

Ceci a été développé sur Windows 11 et on peut utiliser WSL 2 pour installer Redis sur Windows.

Prudence

Cet exemple n'utilise que Redis Strings pour mettre en cache les données.

De Redis Docs

Semblable aux tableaux d'octets, les chaînes redis stockent des séquences d'octets, y compris du texte, des objets sérialisés, des contre-valeurs et des tableaux binaires.

Il existe également d'autres types, par exemple:

• Hacher
• Liste
• Géospatial

Si vous installez Redis Stack, vous pouvez également stocker des données sous forme de JSON, plus d'informations ici.

Les LLMS produisent souvent leurs réponses en JSON et la mise en cache des données dans le même format serait l'approche idéale à adopter.