red ollama

Geh Redis Ollama

tl; dr

git clone " https://github.com/davidhintelmann/red-ollama.git "
go build - o " llm.exe "
. llm.exe

Verwenden Sie das P -Flag, um eine Eingabeaufforderung einzugeben

. llm.exe - p " tell me a joke "

Verwenden Sie das M -Flag, um zu geben, welches Modell Sie verwenden möchten

. llm.exe - p " tell me a joke " - m " phi3 " 

Zusammenfassung

Dieses Repo ist ein Beispiel dafür, wie man die Go -Programmiersprache verwenden kann, um Eingabeaufforderungen an Ollama Server zu senden, das lokal gehostet wird. Mit Ollama kann man Eingabeaufforderungen von LLM oder SLM anfordern, die lokal gehostet werden.

Zum Beispiel können Sie herunterladen und dienen:

• Microsoft PHI3 SLM
• Metas llama3.1 llm

Zusätzlich mit Redis zum Cache -Aufforderungen zusammen mit ihren Antworten verwenden

Bevor Sie dieses Repo verwenden

Voraussetzungen:

1. Download Go
2. Installieren Sie Ollama
3. Installieren Sie Redis unter Windows

Cache -Antworten

Ein einfacher Ansatz zur Verwendung von Redis besteht darin, die Eingabeaufforderungen zusammen mit seiner Antwort zu speichern. Wenn dann ein Benutzer zweimal die gleiche Eingabeaufforderung eingibt, wird das zwischengespeicherte Ergebnis stattdessen zurückgegeben.

Dies wurde unter Windows 11 entwickelt und man kann WSL 2 verwenden, um Redis unter Windows zu installieren.

Vorsicht

In diesem Beispiel wird nur Redis -Zeichenfolgen verwendet, um Daten zu cache.

Aus Redis -Dokumenten

Ähnlich wie Byte -Arrays speichern Redis -Strings Sequenzen von Bytes, einschließlich Text, serialisierten Objekten, Gegenwerten und binären Arrays.

Es gibt auch andere Typen, zum Beispiel:

• Hash
• Liste
• Geospatial

Wenn Sie Redis Stack installieren, können Sie Daten auch als JSON speichern. Weitere Informationen hier.

LLMs geben ihre Antworten häufig in JSON aus und das zwischenstrichene Daten im selben Format wäre der ideale Ansatz.