llmapi server

เซิร์ฟเวอร์ llmapi

เซิร์ฟเวอร์ LLMAPI ที่เป็นเจ้าภาพด้วยตนเอง

การแนะนำ

中文文档

LLMAPI-SERVER เป็นแบ็กเอนด์นามธรรมที่ห่อหุ้มโมเดลภาษาขนาดใหญ่ที่หลากหลาย (LLM เช่น CHATGPT, GPT-3, GPT-4 ฯลฯ ) และให้บริการการเข้าถึงอย่างง่ายผ่าน OpenAPI

- หากเป็นประโยชน์กับคุณโปรดแสดงให้เห็นได้ไหม

แผนผัง

 กราฟ LR

เซิร์ฟเวอร์ Subgraph Llmapi
openapi -> เซสชัน
openapi -> pre_post
แบ็กเอนด์กราฟ
แบ็กเอนด์สไตล์การเติม:#f9f
pre_post-> chatgpt
pre_post-> dall-e
pre_post-> llama
pre_post-> ...
จบ
จบ
ข้อความ-> openapi
รูปภาพ-> openapi
การฝัง-> openapi
อื่น ๆ-> openapi

แบ็กเอนด์ที่รองรับ

• chatgpt : อินเทอร์เฟซ CHATGPT อย่างเป็นทางการของ OpenAi
• gpt3 : อินเทอร์เฟซ GPT-3 อย่างเป็นทางการของ OpenAi
• gpt-embedding : อินเทอร์เฟซการฝังอย่างเป็นทางการของ Openai
• dall-e : อินเทอร์เฟซอย่างเป็นทางการของ Openai
• welm : อินเทอร์เฟซ LLM ของ WeChat
• newbing : การค้นหา Bing ใหม่ตาม CHATGPT （อย่างไม่เป็นทางการ)

⏳ WIP

• ลาม่า
• การแพร่กระจายที่มั่นคง
• การควบคุม
• แซม (เมตา)

ติดตั้งและเรียกใช้

1. วิ่งในพื้นที่

 # python >= 3.8
python3 -m pip install -r requirements.txt

python3 run_api_server.py

2. เรียกใช้กับนักเทียบท่า

./build_docker.sh
./start_docker.sh

เยี่ยมชมเซิร์ฟเวอร์

1. ใช้คำสั่ง curl เพื่อเข้าถึง:

 # 1. Start a new session
curl -X POST -H " Content-Type: application/json " -d ' {"bot_type":"mock"} ' http://127.0.0.1:5050/v1/chat/start
# response sample: {"code":0,"msg":"Success","session":"123456"}

# 2. chat with LLMs
curl -X POST -H " Content-Type: application/json " -d ' {"session":"123456","content":"hello"} ' http://127.0.0.1:5050/v1/chat/ask
# response sample: {"code":0,"msg":"Success","reply":"Text mock reply for your prompt:hello","timestamp":1678865301.0842562}

# 3. Close the session and end chat
curl -X POST -H " Content-Type: application/json " -d ' {"session":"123456"} ' http://127.0.0.1:5050/v1/chat/end
# response: {"code":0,"msg":"Success"}

2. การใช้เครื่องมือบรรทัดคำสั่ง: llmapi_cli

llmapi_cli --host= " http://127.0.0.1:5050 " --bot=mock

3. รวมในรหัส Python ของคุณด้วยโมดูล llmapi_cli

 from llmapi_cli import LLMClient

client = LLMClient ( host = "http://127.0.0.1:5050" , bot = "mock" )

rep = client . ask ( "hello" )

print ( rep )

เสียบเข้ากับแบ็กเอนด์ LLM ของคุณ!

1. คุณต้องสร้างชื่อแบ็กเอนด์ใหม่ในไดเรกทอรีแบ็กเอนด์ (สมมติว่าเป็น newllm ) คุณสามารถ cp -r mock newllm โดยตรง
2. อ้างถึงการใช้งาน mock เปลี่ยนชื่อแบ็กเอนด์เป็น newllm
3. ในไดเรกทอรี newllm เพิ่มการพึ่งพาที่จำเป็นและการพัฒนาที่เกี่ยวข้องทั้งหมดจะถูกผูกไว้กับไดเรกทอรีนี้
4. เพิ่มการสนับสนุนสำหรับ newllm ใน backend.py