red ollama

去Redis Ollama

tl; dr

git clone " https://github.com/davidhintelmann/red-ollama.git "
go build - o " llm.exe "
. llm.exe

使用P標誌進入提示

. llm.exe - p " tell me a joke "

使用M標誌輸入您要使用的模型

. llm.exe - p " tell me a joke " - m " phi3 " 

概括

此存儲庫是如何使用GO編程語言將提示發送到本地託管的Ollama服務器的一個示例。使用Ollama可以在本地託管的LLM或SLM請求提示。

例如，您可以下載並服務：

• 微軟的Phi3 SLM
• Meta的Llama3.1 LLM

此外，使用redis來緩存提示及其響應

在使用此倉庫之前

先決條件：

1. 下載去
2. 安裝Ollama
3. 在Windows上安裝Redis

緩存響應

使用REDIS的一種簡單方法是緩存提示及其響應，然後如果用戶兩次進入相同的提示，則將返回緩存結果。

這是在Windows 11上開發的，可以使用WSL 2在Windows上安裝Redis。

警告

此示例僅使用redis字符串來緩存數據。

來自Redis文檔

與字節數組類似，Redis字符串存儲字節的序列，包括文本，序列化對象，計數器值和二進制數組。

例如，還有其他類型：

• 哈希
• 列表
• 地理空間

如果您安裝了Redis堆棧，則還可以將數據存儲為JSON，請在此處提供更多信息。

LLM通常在JSON中輸出其響應，並以相同格式緩存數據將是理想的採用方法。