LLM Document Chat

redis-llm-document-chat

ที่เก็บนี้จัดเตรียมวัสดุสำหรับโพสต์บล็อก REDIS/Microsoft ร่วมที่นี่ มันมีสมุดบันทึก Jupyter ที่แสดงวิธีใช้ REDIS เป็นฐานข้อมูลเวกเตอร์เพื่อจัดเก็บและดึงข้อมูลเวกเตอร์เอกสาร สมุดบันทึกยังแสดงวิธีการใช้ llamaidex เพื่อทำการค้นหาความหมายสำหรับบริบทภายในเอกสารและให้ประสบการณ์เหมือน chatbot โดยใช้ OpenAI

llamaidex-example.mov

เริ่มต้น

การสอนการแชทเอกสาร LLM มี จุดประสงค์เพื่อให้ทำงานบนสภาพแวดล้อม Jupyter Lab ที่เชื่อมต่อกับ Dockerized เพื่อให้แน่ใจว่าประสบการณ์ในอุดมคติและสภาพแวดล้อม Python ที่น้อยที่สุด อย่างน้อยที่สุดคุณจะต้องติดตั้งเดสก์ท็อป Docker ( ซึ่งมาพร้อมกับ Docker Compose ) เพื่อเรียกใช้ตัวอย่างนี้

โครงการรักษา .env.template ด้วยตัวแปรต่อไปนี้ที่กำหนดไว้ล่วงหน้า:

 # General OpenAI Env Vars
OPENAI_TEXT_MODEL=gpt-35-turbo
OPENAI_EMBEDDING_MODEL=text-embedding-ada-002
OPENAI_TEMPERATURE=0.7
OPENAI_MAX_TOKENS=50

# OpenAI Direct Env Vars
OPENAI_API_KEY= < your key here >
OPENAI_API_BASE=https://api.openai.com/v1/

# Azure OpenAI Env Vars
# OPENAI_API_VERSION=2023-05-15 # use OPENAI_API_VERSION only with Azure OpenAI
AZURE_EMBED_MODEL_DEPLOYMENT_NAME= < your deployment name here >
AZURE_TEXT_MODEL_DEPLOYMENT_NAME= < your deployment name here >
AZURE_OPENAI_API_BASE=https:// < your deployment name > .openai.azure.com/

# General Env Vars
CHUNK_SIZE=500
CHUNK_OVERLAP=0.2

# Redis Env Vars
REDIS_HOST=redis
REDIS_PORT=6379
REDIS_PASSWORD=

สร้างสำเนาของไฟล์นี้เพื่อสร้าง .env ดังนี้:

$ cp .env.template .env

อัปเดตบางส่วนของไฟล์ ENV ตามตัวเลือกของคุณด้านล่าง:

1. เลือกผู้ให้บริการ OpenAI ของคุณ
2. เลือกผู้ให้บริการ Redis ของคุณ

---

หมายเหตุ หากคุณกำลังโฮสต์ตัวอย่างนี้บน Azure คุณสามารถปรับใช้ Azure OpenAI และ Azure Cache สำหรับอินสแตนซ์ Redis Enterprise ได้อย่างรวดเร็วด้วยการกำหนดค่าที่เหมาะสมโดยเรียกใช้คำสั่งต่อไปนี้:

az group create -n LLMDocChatRG -l eastus

az deployment group create --template-file infra b icep m ain.bicep -g LLMDocChatRG

หากต้องการลบทรัพยากร Azure ทั้งหมดเพียงลบกลุ่มทรัพยากรโดยใช้:

az group delete -n LLMDocChatRG

อีกวิธีหนึ่งคุณสามารถเลือกใช้ OpenAI หรือผู้ให้บริการ REDIS อื่น ๆ ตามที่บันทึกไว้ด้านล่าง

เลือกผู้ให้บริการ OpenAI ของคุณ

คุณสามารถเลือกระหว่าง Azure Openai Service (โฮสต์อย่างเต็มที่และจัดการโดย Azure) และ OpenAI Direct

หากต้องการใช้ Azure Openai (แนะนำ)

ในการใช้ Azure OpenAI คุณจะต้องทำตามคำแนะนำเหล่านี้

1. สร้างทรัพยากร Azure Openai
2. สร้างการปรับใช้แบบจำลองสำหรับโมเดลข้อความและการฝัง
3. กำหนดค่าไฟล์ .env เพิ่มค่าเฉพาะสำหรับการปรับใช้ของคุณ

AZURE_EMBED_MODEL_DEPLOYMENT_NAME= < your deployment name here >
AZURE_TEXT_MODEL_DEPLOYMENT_NAME= < your deployment name here >
AZURE_OPENAI_API_BASE=https:// < your deployment name > .openai.azure.com/

เพื่อใช้ openai

หากต้องการใช้ OpenAI คุณจะต้องทำตามคำแนะนำเหล่านี้

1. สร้างบัญชี OpenAI
2. สร้างคีย์ OpenAI API
3. กำหนดค่าไฟล์ .env เพิ่มค่าเฉพาะสำหรับการปรับใช้ของคุณ

OPENAI_API_KEY= < your key here >

เลือกผู้ให้บริการ Redis ของคุณ

บทช่วยสอนจะต้องใช้คุณสมบัติการค้นหาและการสืบค้น Redis รวมถึงการสนับสนุนการค้นหาความคล้ายคลึงกันของเวกเตอร์ มีสามตัวเลือกสำหรับ Running Redis:

1. Redis Enterprise Cloud - อินสแตนซ์ฟรี
2. Azure Redis Enterprise (เอเคอร์)
3. Redis Stack (Local Docker)

สำหรับแต่ละตัวเลือกต่อไปนี้จะ ต้อง มีการอัปเดตในไฟล์ .env ในเครื่องของคุณ:

REDIS_PASSWORD= < your password here >
REDIS_HOST= < your redis host address here >
REDIS_PORT= < your redis port here >

มีไฟล์ docker-compose.yml บางไฟล์ในไดเรกทอรี docker ที่จะช่วยหมุน Redis-Stack ในท้องถิ่นและ Redisinsight ในกรณีที่มีการใช้ Redis ระยะไกล (เช่นเอเคอร์)

วิ่ง

หากต้องการเปิดสภาพแวดล้อม Jupyter ผ่าน Docker ให้ทำตามขั้นตอนเหล่านี้:

1. โคลนที่เก็บนี้ไปยังเครื่องในพื้นที่ของคุณ

2. คัดลอก .env.template ไป .env และกำหนดค่าค่าตามที่ระบุไว้ข้างต้น

3. เรียกใช้กับนักเทียบท่าเขียน:

   สำหรับ Cloud หรือ Azure Redis Enterprise

   docker compose -f docker/cloud/docker-compose.yml up

   สำหรับ Local (Docker) Redis Stack

   docker compose -f docker/local/docker-compose.yml up

4. เปิดเซสชัน Jupyter Lab ในเบราว์เซอร์ของคุณที่ http://127.0.0.1:8888/lab?token={YOUR GENERATED TOKEN} ตรวจสอบบันทึกเทอร์มินัลสำหรับสตริงโทเค็น