red ollama

ไป Redis Ollama

tl; dr

git clone " https://github.com/davidhintelmann/red-ollama.git "
go build - o " llm.exe "
. llm.exe

ใช้ธง P เพื่อป้อนพรอมต์

. llm.exe - p " tell me a joke "

ใช้ M Flag เพื่อป้อนรุ่นที่คุณต้องการใช้

. llm.exe - p " tell me a joke " - m " phi3 " 

สรุป

repo นี้เป็นตัวอย่างของวิธีที่เราสามารถใช้ภาษาการเขียนโปรแกรม Go เพื่อส่งพรอมต์ไปยังเซิร์ฟเวอร์ Ollama ที่โฮสต์ในเครื่อง การใช้ Ollama หนึ่งสามารถขอพรอมต์จาก LLM หรือ SLM โฮสต์ในพื้นที่

ตัวอย่างเช่นคุณสามารถดาวน์โหลดและให้บริการ:

• Phi3 SLM ของ Microsoft
• Meta's Llama3.1 llm

นอกจากนี้การใช้ REDIS ไปยังแคชพร้อมกับคำตอบของพวกเขา

ก่อนใช้ repo นี้

ข้อกำหนดเบื้องต้น:

1. ดาวน์โหลด Go
2. ติดตั้ง Ollama
3. ติดตั้ง Redis บน Windows

การตอบสนองแคช

วิธีการง่ายๆในการใช้ Redis คือการให้แคชพร้อมกับการตอบสนองของพวกเขาและจากนั้นหากผู้ใช้เข้าสู่พรอมต์เดียวกันสองครั้งจากนั้นผลลัพธ์ที่แคชจะถูกส่งกลับแทน

สิ่งนี้ได้รับการพัฒนาบน Windows 11 และหนึ่งสามารถใช้ WSL 2 เพื่อติดตั้ง Redis บน Windows

คำเตือน

ตัวอย่างนี้ใช้เฉพาะ redis strings เพื่อแคชข้อมูล

จากเอกสาร Redis

คล้ายกับอาร์เรย์ไบต์ Redis Strings จัดเก็บลำดับของไบต์รวมถึงข้อความวัตถุที่เป็นอนุกรมค่าตัวนับและอาร์เรย์ไบนารี

มีประเภทอื่นเช่น:

• กัญชา
• รายการ
• เกี่ยวกับภูมิศาสตร์

หากคุณติดตั้ง Redis Stack คุณสามารถจัดเก็บข้อมูลเป็น JSON ข้อมูลเพิ่มเติมได้ที่นี่

LLM มักส่งออกการตอบสนองของพวกเขาใน JSON และแคชข้อมูลในรูปแบบเดียวกันจะเป็นวิธีที่เหมาะสำหรับการใช้