red ollama

Pergi redis ollama

tl; dr

git clone " https://github.com/davidhintelmann/red-ollama.git "
go build - o " llm.exe "
. llm.exe

Gunakan P Flag untuk memasukkan prompt

. llm.exe - p " tell me a joke "

Gunakan m bendera untuk memasukkan model mana yang ingin Anda gunakan

. llm.exe - p " tell me a joke " - m " phi3 " 

Ringkasan

Repo ini adalah contoh bagaimana seseorang dapat menggunakan bahasa pemrograman GO untuk mengirim petunjuk ke server ollama yang di -host secara lokal. Menggunakan ollama seseorang dapat meminta petunjuk dari LLM atau SLM yang di -host secara lokal.

Misalnya Anda dapat mengunduh dan melayani:

• Microsoft PHI3 SLM
• Meta LLAMA3.1 LLM

Selain itu, menggunakan petunjuk Redis ke cache bersama dengan tanggapan mereka

Sebelum menggunakan repo ini

Prasyarat:

1. Unduh pergi
2. Instal ollama
3. Instal Redis di Windows

Respons cache

Pendekatan sederhana untuk menggunakan Redis adalah untuk menumpuk prompt bersama dengan respons mereka, dan kemudian jika pengguna memasukkan prompt yang sama dua kali maka hasil yang di -cache akan dikembalikan sebagai gantinya.

Ini dikembangkan pada Windows 11 dan seseorang dapat menggunakan WSL 2 untuk menginstal Redis pada Windows.

Peringatan

Contoh ini hanya menggunakan string redis untuk cache data.

Dari Redis Docs

Mirip dengan array byte, redis strings store urutan byte, termasuk teks, objek serial, nilai counter, dan array biner.

Ada jenis lain juga, misalnya:

• Hash
• Daftar
• Geospasial

Jika Anda menginstal Redis Stack, Anda juga dapat menyimpan data sebagai JSON, info lebih lanjut di sini.

LLMS sering mengeluarkan tanggapan mereka dalam JSON dan caching data dalam format yang sama akan menjadi pendekatan yang ideal untuk diambil.