horace

Horace: LLM Chatbot Server พร้อมปลั๊กอิน Chatgpt

สำคัญ: สงครามในยูเครนยังคงดำเนินต่อไป ทุกวันทหารรัสเซียข่มขืนฆาตกรรมการทรมานและการเนรเทศพลเรือนยูเครน เยี่ยมชมหน้านี้เพื่อดูว่าคุณสามารถสนับสนุนยูเครนวันนี้ได้อย่างไร

Horace ช่วยให้คุณใช้แชทบ็อตที่กำหนดเองด้วยตัวเลือก LLM และชุดปลั๊กอิน CHATGPT มันทำงานเป็นเซิร์ฟเวอร์ WebSocket ช่วยให้คุณสามารถเพิ่ม chatbot ที่ขับเคลื่อนด้วย LLM ลงในเว็บหรือแอพมือถือของคุณได้อย่างง่ายดาย

คุณสมบัติ:

• WebSocket Chatbot Server
• เป็นมิตรกับนักเทียบท่า
• ตัวอย่างเว็บและไคลเอนต์ CLI ที่ให้ไว้
• แบ็กเอนด์ LLM ที่สามารถทำได้ (ปัจจุบัน OpenAI API พร้อม CHATGPT หรือ GPT-4)
• การสนับสนุนนอกกรอบสำหรับปลั๊กอิน chatgpt
• วิธีการ chatgpt ปลั๊กอิน Auth ที่รองรับ: none , user_http , service_http
• ขอการตรวจสอบความถูกต้องสำหรับปลั๊กอินตามข้อกำหนดของ OpenAPI
• การปรับแต่งที่รวดเร็วสำหรับคำแนะนำที่ละเอียด

ฮอเรซสร้างและขยายเกรซซึ่งเป็นแชทบ็อตที่ขับเคลื่อนด้วย LLM ดั้งเดิมของฉัน นี่คือ Horace ที่ทำงานในโหมดดีบักด้วยปลั๊กอิน Klarna Chatgpt เข้าถึงได้ผ่านเว็บไคลเอนต์:

demo_b7g7ztbb.mp4

เริ่มต้นอย่างรวดเร็ว

1. ติดตั้ง Python 3.10 หากยังไม่ได้ติดตั้ง
2. โคลนที่เก็บนี้
3. นำทางไปยังไดเรกทอรีที่เก็บโคลน: cd horace
4. สร้างสภาพแวดล้อมเสมือนจริงใหม่: python3 -m venv ./venv
5. เปิดใช้งานสภาพแวดล้อมเสมือนจริง: source ./venv/bin/activate
6. การติดตั้งข้อกำหนดของโครงการ: pip3 install -r requirements.txt
7. นำทางไปยังไดเรกทอรี app : cd app
8. เริ่มต้นเซิร์ฟเวอร์: OPENAI_API_KEY=openai-api-key python3 main.py (แทนที่ openai-api-key ด้วยคีย์ OpenAI API ของคุณ-รับที่นี่)
9. เปิดตัวลูกค้า:

• สำหรับไคลเอนต์ CLI ให้เรียกใช้ในหน้าต่างเทอร์มินัลอื่น:

 cd horace
source ./venv/bin/activate
python3 app/horace-cli.py

• สำหรับเว็บไคลเอนต์ให้ดับเบิลคลิก client-demo/index.html ใน Explorer/Finder ฯลฯ เพื่อเปิดในเบราว์เซอร์ของคุณ

วิ่งผ่าน Docker

1. โคลนที่เก็บนี้
2. นำทางไปยังไดเรกทอรีที่เก็บโคลน: cd horace
3. สร้างภาพนักเทียบท่า: docker build -t horace:latest .
4. เริ่มต้นเซิร์ฟเวอร์:

 docker run --rm 
  -e OPENAI_API_KEY=openai-api-key 
  -p 8001:8001 
  --name horace 
  horace:latest

5. เปิดตัวลูกค้า:

• สำหรับไคลเอนต์ CLI ให้เรียกใช้ในหน้าต่างเทอร์มินัลอื่น: docker exec -it horace python3 /app/horace-cli.py
• สำหรับเว็บไคลเอนต์ให้ดับเบิลคลิก client-demo/index.html ใน Explorer/Finder ฯลฯ เพื่อเปิดในเบราว์เซอร์ของคุณ

อาร์กิวเมนต์บรรทัดคำสั่ง

main.py และ horace-cli.py สนับสนุนอาร์กิวเมนต์บรรทัดคำสั่งสองสามข้อ:

 python3 main.py --help
usage: main.py [-h] [--host HOST] [--port PORT] [--debug]

optional arguments:
  -h, --help   show this help message and exit
  --host HOST  bind host name
  --port PORT  bind port number
  --debug      enable debug mode

 python3 app/horace-cli.py --help
usage: horace-cli.py [-h] [--host HOST] [--port PORT]

optional arguments:
  -h, --help   show this help message and exit
  --host HOST  server host name
  --port PORT  server port number

ทำงานกับแบ็กเอนด์ LLM

ในขณะนี้รองรับแบ็กเอนด์ OpenAI API เท่านั้น (ฉันไม่ได้ตระหนักถึง LLM ที่ไม่ใช่ Openai ที่มีระดับของคำสั่งที่ตอบสนองเพียงพอสำหรับการเรียกใช้ปลั๊กอินในขณะนี้) อย่างไรก็ตามการเพิ่มแบ็กเอนด์ LLM ที่กำหนดเองกับ Horace นั้นค่อนข้างตรงไปตรงมา:

1. สืบทอดคลาสแบ็กเอนด์ใหม่จากฐาน Backend ที่ตั้งอยู่ใน backends/backend.py และใช้วิธี complete()
2. วางโมดูลคลาสใหม่ในไดเรกทอรี backends
3. เพิ่มการนำเข้าโมดูลใหม่ไปยัง main.py
4. ปรับการแมป BACKENDS กเอนด์ใน main.py เพื่อรวมนามแฝงของแบ็กเอนด์และชื่อคลาสใหม่ของคุณ
5. เปลี่ยนเป็นแบ็กเอนด์ใหม่ใน config.yaml :

 backend:
  name: my_llm_backend

อ้างถึงแบ็กเอนด์ OpenAI API ( backends/openai_backend.py ) เป็นตัวอย่าง

การสลับโมเดลด้วยแบ็กเอนด์ OpenAI API

แบ็กเอนด์ OpenAI API ช่วยให้คุณสลับระหว่างรุ่นต่อไปนี้:

• chatgpt (ค่าเริ่มต้น): รุ่นราคาถูกไปยังที่ทำงานได้ดีพอสมควร
• GPT-4: แพงกว่า CHATGPT มาก แต่ควรกันกระสุนมากกว่า

ดู config.yaml สำหรับการสลับระหว่างรุ่น OpenAI API

การใช้ปลั๊กอิน chatgpt

Horace ทำงานร่วมกับปลั๊กอิน CHATGPT นอกกรอบ ในการเปิดใช้งานปลั๊กอินให้เพิ่มชื่อโฮสต์ด้วยหมายเลขพอร์ตเสริมลงในส่วน plugins ใน config.yaml :

 router:
  plugins:
    # For https://github.com/artmatsak/chatgpt-todo-plugin/
    # - localhost:5002
    - www.klarna.com

เมื่อเริ่มต้นเซิร์ฟเวอร์จะร้องขอ http://[hostname]/.well-known/ai-plugin.json สำหรับแต่ละปลั๊กอินและนำมันมาจากที่นั่นเพื่อโหลด

ปัจจุบัน Horace รองรับ none user_http และ server_http Auth Methods สำหรับปลั๊กอิน Chatgpt หากจำเป็นต้องมีโทเค็นการรับรองความถูกต้องสำหรับปลั๊กอิน Horace จะขอให้คุณหนึ่งในระหว่างการเริ่มต้นเซิร์ฟเวอร์ ในขณะนี้โทเค็นรับรองความถูกต้องจะถูกบันทึกไว้ใน .plugin_auth.json

ให้คำแนะนำพิเศษเพิ่มเติม

พรอมต์ LLM เริ่มต้นสำหรับ Horace ได้รับการออกแบบมาเพื่อทำให้ Bot เป็นกลาง บอทไม่ได้ จำกัด อยู่ที่คำขอของผู้ใช้ปลั๊กอิน (เช่นการจองร้านอาหารจะเป็นเช่น) และไม่ได้ผลักดันฟังก์ชั่นที่เปิดใช้งานปลั๊กอินไปยังผู้ใช้ในเชิงรุก กล่าวอีกนัยหนึ่งคุณสามารถแชทกับบอทได้ตามปกติกับ CHATGPT หากบอทรู้สึกว่าจำเป็นต้องใช้วิธีการปลั๊กอินก็จะทำเช่นนั้น

ในสถานการณ์จริงคุณอาจต้องการ จำกัด บอทให้อยู่ในขอบเขตเฉพาะเช่นการจองโต๊ะ (ดูที่พรอมต์ของเกรซสำหรับแรงบันดาลใจ) หรืออาจให้เสียง/บุคลิกภาพที่เป็นเอกลักษณ์ ในการทำเช่นนี้คุณสามารถเพิ่มคำแนะนำในพรอมต์ LLM โดยใช้คุณสมบัติ extra_instructions ใน config.yaml :

 horace:
  # Any extra instructions to prepend the prompt with
  extra_instructions: >-
    You are a helpful and polite AI assistant.
  # extra_instructions: >-
  #   In your speech, you impersonate Jedi Master Yoda and crack jokes in response
  #   to mentions of other Star Wars characters.

ลองใช้ความไม่ลงรอยกันบล็อกโยดาด้านบนเพื่อดูว่าเสียงของ chatbot มีการเปลี่ยนแปลงอย่างไร (อย่าลืมรีสตาร์ทเซิร์ฟเวอร์หลังจากทำการเปลี่ยนแปลงใด ๆ กับการกำหนดค่า)

การทดสอบกำลังดำเนินการ

การทดสอบยังไม่ได้รับการอัปเดตตั้งแต่ฟอร์กจากเกรซ ที่จะได้รับการแก้ไข