red ollama

Redis Ollamaに行きます

tl; dr

git clone " https://github.com/davidhintelmann/red-ollama.git "
go build - o " llm.exe "
. llm.exe

Pフラグを使用してプロンプトを入力します

. llm.exe - p " tell me a joke "

Mフラグを使用して、使用するモデルを入力する

. llm.exe - p " tell me a joke " - m " phi3 " 

まとめ

このレポは、GOプログラミング言語を使用してローカルでホストされているOllama Serverにプロンプ​​トを送信する方法の例です。 Ollamaは、ローカルでホストされているLLMまたはSLMからプロンプトを要求できます。

たとえば、ダウンロードしてサービスを提供できます。

• MicrosoftのPHI3 SLM
• メタのllama3.1 llm

さらに、Redisを使用してプロンプトをキャッシュして応答します

このレポを使用する前に

前提条件：

1. ダウンロードGO
2. オラマをインストールします
3. WindowsにRedisをインストールします

キャッシュ応答

Redisを使用するための簡単なアプローチは、応答とともにプロンプ​​トをキャッシュすることであり、ユーザーが同じプロンプトを2回入力すると、代わりにキャッシュ結果が返されます。

これはWindows 11で開発され、WSL 2を使用してWindowsにRedisをインストールできます。

注意

この例では、Redis文字列のみを使用してデータをキャッシュします。

Redis docsから

バイト配列と同様に、Redis文字列は、テキスト、シリアル化されたオブジェクト、カウンター値、バイナリ配列など、バイトのシーケンスを保存します。

たとえば、他のタイプもあります。

• ハッシュ
• リスト
• 地理空間

Redisスタックをインストールする場合は、データをJSONとして保存することもできます。詳細については、こちらをご覧ください。

LLMは、JSONで応答を出力し、同じ形式でデータをキャッシュすることが多くの場合、理想的なアプローチです。