uni api
0.0.104
ภาษาอังกฤษ | ชาวจีน
สำหรับการใช้งานส่วนตัวหนึ่ง/ใหม่ API นั้นซับซ้อนเกินไปด้วยคุณสมบัติเชิงพาณิชย์มากมายที่บุคคลไม่ต้องการ หากคุณไม่ต้องการอินเทอร์เฟซส่วนหน้าที่ซับซ้อนและต้องการการสนับสนุนสำหรับรุ่นเพิ่มเติมคุณสามารถลองใช้ UNI-API นี่เป็นโครงการที่รวมการจัดการ API แบบจำลองภาษาขนาดใหญ่ให้คุณเรียกใช้บริการแบ็กเอนด์หลายรายการผ่านอินเทอร์เฟซ API แบบครบวงจรเดียวแปลงพวกเขาทั้งหมดเป็นรูปแบบ openai และรองรับการปรับสมดุลโหลด บริการแบ็กเอนด์ที่รองรับในปัจจุบัน ได้แก่ : Openai, มานุษยวิทยา, ราศีเมถุน, จุดยอด, Cohere, Groq, CloudFlare, OpenRouter และอีกมากมาย
SCHEDULING_ALGORITHM เป็น round_robin/v1/chat/completions , /v1/images/generations , /v1/audio/transcriptions , /v1/moderations , /v1/modelsในการเริ่มต้น UNI-API ต้องใช้ไฟล์กำหนดค่า มีสองวิธีในการเริ่มต้นด้วยไฟล์การกำหนดค่า:
CONFIG_URL เพื่อเติมใน URL ไฟล์กำหนดค่าซึ่งจะดาวน์โหลดโดยอัตโนมัติเมื่อ uni-API เริ่มต้นapi.yaml ลงในคอนเทนเนอร์api.yaml เพื่อเริ่ม uni-API คุณต้องกรอกไฟล์การกำหนดค่าล่วงหน้าเพื่อเริ่ม uni-api และคุณต้องใช้ไฟล์กำหนดค่าชื่อ api.yaml เพื่อเริ่มต้น uni-api คุณสามารถกำหนดค่าหลายรุ่นแต่ละรุ่นสามารถกำหนดค่าบริการแบ็กเอนด์หลายรายการ ด้านล่างเป็นตัวอย่างของไฟล์กำหนดค่า api.yaml ขั้นต่ำที่สามารถเรียกใช้ได้:
providers :
- provider : provider_name # Service provider name, such as openai, anthropic, gemini, openrouter, can be any name, required
base_url : https://api.your.com/v1/chat/completions # Backend service API address, required
api : sk-YgS6GTi0b4bEabc4C # Provider's API Key, required, automatically uses base_url and api to get all available models through the /v1/models endpoint.
# Multiple providers can be configured here, each provider can configure multiple API Keys, and each API Key can configure multiple models.
api_keys :
- api : sk-Pkj60Yf8JFWxfgRmXQFWyGtWUddGZnmi3KlvowmRWpWpQxx # API Key, user request uni-api requires API key, required
# This API Key can use all models, that is, it can use all models in all channels set under providers, without needing to add available channels one by one. การกำหนดค่าขั้นสูงโดยละเอียดของ api.yaml :
providers :
- provider : provider_name # Service provider name, such as openai, anthropic, gemini, openrouter, can be any name, required
base_url : https://api.your.com/v1/chat/completions # Backend service API address, required
api : sk-YgS6GTi0b4bEabc4C # Provider's API Key, required
model : # Optional, if model is not configured, all available models will be automatically obtained through base_url and api via the /v1/models endpoint.
- gpt-4o # Usable model name, required
- claude-3-5-sonnet-20240620 : claude-3-5-sonnet # Rename model, claude-3-5-sonnet-20240620 is the provider's model name, claude-3-5-sonnet is the renamed name, you can use a simple name to replace the original complex name, optional
- dall-e-3
- provider : anthropic
base_url : https://api.anthropic.com/v1/messages
api : # Supports multiple API Keys, multiple keys automatically enable polling load balancing, at least one key, required
- sk-ant-api03-bNnAOJyA-xQw_twAA
- sk-ant-api02-bNnxxxx
model :
- claude-3-5-sonnet-20240620 : claude-3-5-sonnet # Rename model, claude-3-5-sonnet-20240620 is the provider's model name, claude-3-5-sonnet is the renamed name, you can use a simple name to replace the original complex name, optional
tools : true # Whether to support tools, such as generating code, generating documents, etc., default is true, optional
- provider : gemini
base_url : https://generativelanguage.googleapis.com/v1beta # base_url supports v1beta/v1, only for Gemini model use, required
api : # Supports multiple API Keys, multiple keys automatically enable polling load balancing, at least one key, required
- AIzaSyAN2k6IRdgw123
- AIzaSyAN2k6IRdgw456
- AIzaSyAN2k6IRdgw789
model :
- gemini-1.5-pro
- gemini-1.5-flash-exp-0827 : gemini-1.5-flash # After renaming, the original model name gemini-1.5-flash-exp-0827 cannot be used, if you want to use the original name, you can add the original name in the model, just add the line below to use the original name
- gemini-1.5-flash-exp-0827 # Add this line, both gemini-1.5-flash-exp-0827 and gemini-1.5-flash can be requested
tools : true
preferences :
api_key_rate_limit : 15/min # Each API Key can request up to 15 times per minute, optional. The default is 999999/min. Supports multiple frequency constraints: 15/min,10/day
# api_key_rate_limit: # You can set different frequency limits for each model
# gemini-1.5-flash: 15/min,1500/day
# gemini-1.5-pro: 2/min,50/day
# default: 4/min # If the model does not set the frequency limit, use the frequency limit of default
api_key_cooldown_period : 60 # Each API Key will be cooled down for 60 seconds after encountering a 429 error. Optional, the default is 0 seconds. When set to 0, the cooling mechanism is not enabled. When there are multiple API keys, the cooling mechanism will take effect.
api_key_schedule_algorithm : round_robin # Set the request order of multiple API Keys, optional. The default is round_robin, and the optional values are: round_robin, random. It will take effect when there are multiple API keys. round_robin is polling load balancing, and random is random load balancing.
model_timeout : # Model timeout, in seconds, default 100 seconds, optional
gemini-1.5-pro : 10 # Model gemini-1.5-pro timeout is 10 seconds
gemini-1.5-flash : 10 # Model gemini-1.5-flash timeout is 10 seconds
default : 10 # Model does not have a timeout set, use the default timeout of 10 seconds, when requesting a model not in model_timeout, the timeout is also 10 seconds, if default is not set, uni-api will use the default timeout set by the environment variable TIMEOUT, the default timeout is 100 seconds
proxy : socks5://[username]:[password]@[ip]:[port] # Proxy address, optional. Supports socks5 and http proxies, default is not used.
- provider : vertex
project_id : gen-lang-client-xxxxxxxxxxxxxx # Description: Your Google Cloud project ID. Format: String, usually composed of lowercase letters, numbers, and hyphens. How to obtain: You can find your project ID in the project selector of the Google Cloud Console.
private_key : " -----BEGIN PRIVATE KEY----- n xxxxx n -----END PRIVATE " # Description: Private key for Google Cloud Vertex AI service account. Format: A JSON formatted string containing the private key information of the service account. How to obtain: Create a service account in Google Cloud Console, generate a JSON formatted key file, and then set its content as the value of this environment variable.
client_email : [email protected] # Description: Email address of the Google Cloud Vertex AI service account. Format: Usually a string like "[email protected]". How to obtain: Generated when creating a service account, or you can view the service account details in the "IAM and Admin" section of the Google Cloud Console.
model :
- gemini-1.5-pro
- gemini-1.5-flash
- gemini-1.5-pro : gemini-1.5-pro-search # Only supports using the gemini-1.5-pro-search model to request uni-api when using the Vertex Gemini API, to automatically use the Google official search tool.
- claude-3-5-sonnet@20240620 : claude-3-5-sonnet
- claude-3-opus@20240229 : claude-3-opus
- claude-3-sonnet@20240229 : claude-3-sonnet
- claude-3-haiku@20240307 : claude-3-haiku
tools : true
notes : https://xxxxx.com/ # You can put the provider's website, notes, official documentation, optional
- provider : cloudflare
api : f42b3xxxxxxxxxxq4aoGAh # Cloudflare API Key, required
cf_account_id : 8ec0xxxxxxxxxxxxe721 # Cloudflare Account ID, required
model :
- ' @cf/meta/llama-3.1-8b-instruct ' : llama-3.1-8b # Rename model, @cf/meta/llama-3.1-8b-instruct is the provider's original model name, must be enclosed in quotes, otherwise yaml syntax error, llama-3.1-8b is the renamed name, you can use a simple name to replace the original complex name, optional
- ' @cf/meta/llama-3.1-8b-instruct ' # Must be enclosed in quotes, otherwise yaml syntax error
- provider : other-provider
base_url : https://api.xxx.com/v1/messages
api : sk-bNnAOJyA-xQw_twAA
model :
- causallm-35b-beta2ep-q6k : causallm-35b
- anthropic/claude-3-5-sonnet
tools : false
engine : openrouter # Force the use of a specific message format, currently supports gpt, claude, gemini, openrouter native format, optional
api_keys :
- api : sk-KjjI60Yf0JFWxfgRmXqFWyGtWUd9GZnmi3KlvowmRWpWpQRo # API Key, required for users to use this service
model : # Models that can be used by this API Key, required. Default channel-level polling load balancing is enabled, and each request model is requested in sequence according to the model configuration. It is not related to the original channel order in providers. Therefore, you can set different request sequences for each API key.
- gpt-4o # Usable model name, can use all gpt-4o models provided by providers
- claude-3-5-sonnet # Usable model name, can use all claude-3-5-sonnet models provided by providers
- gemini/* # Usable model name, can only use all models provided by providers named gemini, where gemini is the provider name, * represents all models
role : admin
- api : sk-pkhf60Yf0JGyJxgRmXqFQyTgWUd9GZnmi3KlvowmRWpWqrhy
model :
- anthropic/claude-3-5-sonnet # Usable model name, can only use the claude-3-5-sonnet model provided by the provider named anthropic. Models with the same name from other providers cannot be used. This syntax will not match the model named anthropic/claude-3-5-sonnet provided by other-provider.
- <anthropic/claude-3-5-sonnet> # By adding angle brackets on both sides of the model name, it will not search for the claude-3-5-sonnet model under the channel named anthropic, but will take the entire anthropic/claude-3-5-sonnet as the model name. This syntax can match the model named anthropic/claude-3-5-sonnet provided by other-provider. But it will not match the claude-3-5-sonnet model under anthropic.
- openai-test/text-moderation-latest # When message moderation is enabled, the text-moderation-latest model under the channel named openai-test can be used for moderation.
- sk-KjjI60Yd0JFWtxxxxxxxxxxxxxxwmRWpWpQRo/* # Support using other API keys as channels
preferences :
SCHEDULING_ALGORITHM : fixed_priority # When SCHEDULING_ALGORITHM is fixed_priority, use fixed priority scheduling, always execute the channel of the first model with a request. Default is enabled, SCHEDULING_ALGORITHM default value is fixed_priority. SCHEDULING_ALGORITHM optional values are: fixed_priority, round_robin, weighted_round_robin, lottery, random.
# When SCHEDULING_ALGORITHM is random, use random polling load balancing, randomly request the channel of the model with a request.
# When SCHEDULING_ALGORITHM is round_robin, use polling load balancing, request the channel of the model used by the user in order.
AUTO_RETRY : true # Whether to automatically retry, automatically retry the next provider, true for automatic retry, false for no automatic retry, default is true. Also supports setting a number, indicating the number of retries.
rate_limit : 15/min # Supports rate limiting, each API Key can request up to 15 times per minute, optional. The default is 999999/min. Supports multiple frequency constraints: 15/min,10/day
# rate_limit: # You can set different frequency limits for each model
# gemini-1.5-flash: 15/min,1500/day
# gemini-1.5-pro: 2/min,50/day
# default: 4/min # If the model does not set the frequency limit, use the frequency limit of default
ENABLE_MODERATION : true # Whether to enable message moderation, true for enable, false for disable, default is false, when enabled, it will moderate the user's message, if inappropriate messages are found, an error message will be returned.
# Channel-level weighted load balancing configuration example
- api : sk-KjjI60Yd0JFWtxxxxxxxxxxxxxxwmRWpWpQRo
model :
- gcp1/* : 5 # The number after the colon is the weight, weight only supports positive integers.
- gcp2/* : 3 # The size of the number represents the weight, the larger the number, the greater the probability of the request.
- gcp3/* : 2 # In this example, there are a total of 10 weights for all channels, and 10 requests will have 5 requests for the gcp1/* model, 2 requests for the gcp2/* model, and 3 requests for the gcp3/* model.
preferences :
SCHEDULING_ALGORITHM : weighted_round_robin # Only when SCHEDULING_ALGORITHM is weighted_round_robin and the above channel has weights, it will request according to the weighted order. Use weighted polling load balancing, request the channel of the model with a request according to the weight order. When SCHEDULING_ALGORITHM is lottery, use lottery polling load balancing, request the channel of the model with a request according to the weight randomly. Channels without weights automatically fall back to round_robin polling load balancing.
AUTO_RETRY : true
preferences : # Global configuration
model_timeout : # Model timeout, in seconds, default 100 seconds, optional
gpt-4o : 10 # Model gpt-4o timeout is 10 seconds, gpt-4o is the model name, when requesting models like gpt-4o-2024-08-06, the timeout is also 10 seconds
claude-3-5-sonnet : 10 # Model claude-3-5-sonnet timeout is 10 seconds, when requesting models like claude-3-5-sonnet-20240620, the timeout is also 10 seconds
default : 10 # Model does not have a timeout set, use the default timeout of 10 seconds, when requesting a model not in model_timeout, the default timeout is 10 seconds, if default is not set, uni-api will use the default timeout set by the environment variable TIMEOUT, the default timeout is 100 seconds
o1-mini : 30 # Model o1-mini timeout is 30 seconds, when requesting models starting with o1-mini, the timeout is 30 seconds
o1-preview : 100 # Model o1-preview timeout is 100 seconds, when requesting models starting with o1-preview, the timeout is 100 seconds
cooldown_period : 300 # Channel cooldown time, in seconds, default 300 seconds, optional. When a model request fails, the channel will be automatically excluded and cooled down for a period of time, and will not request the channel again. After the cooldown time ends, the model will be automatically restored until the request fails again, and it will be cooled down again. When cooldown_period is set to 0, the cooling mechanism is not enabled.
error_triggers : # Error triggers, when the message returned by the model contains any of the strings in the error_triggers, the channel will return an error. Optional
- The bot's usage is covered by the developer
- process this request due to overload or policyเมานต์ไฟล์การกำหนดค่าและเริ่มคอนเทนเนอร์ Uni-API Docker:
docker run --user root -p 8001:8000 --name uni-api -dit
-v ./api.yaml:/home/api.yaml
yym68686/uni-api:latestCONFIG_URL หลังจากเขียนไฟล์การกำหนดค่าตามวิธีที่หนึ่งอัปโหลดไปยังคลาวด์ดิสก์รับลิงค์โดยตรงของไฟล์จากนั้นใช้ตัวแปรสภาพแวดล้อม CONFIG_URL เพื่อเริ่มคอนเทนเนอร์ Uni-API Docker:
docker run --user root -p 8001:8000 --name uni-api -dit
-e CONFIG_URL=http://file_url/api.yaml
yym68686/uni-api:latest หลังจากคลิกปุ่มปรับใช้แบบคลิกเดียวให้ตั้งค่าตัวแปรสภาพแวดล้อม CONFIG_URL ไปยังลิงก์โดยตรงของไฟล์การกำหนดค่า DISABLE_DATABASE เป็น TRUE จากนั้นคลิกสร้างเพื่อสร้างโครงการ หลังจากการปรับใช้คุณต้องตั้งค่าระยะเวลาสูงสุดของฟังก์ชั่นด้วยตนเองเป็น 60 วินาทีในแผง Project Vercel ภายใต้การตั้งค่า -> ฟังก์ชั่นจากนั้นคลิกเมนูการปรับใช้และคลิก redeploy เพื่อปรับใช้ซ้ำซึ่งจะตั้งค่าการหมดเวลาเป็น 60 วินาที หากคุณไม่ได้ปรับใช้ซ้ำการหมดเวลาเริ่มต้นจะยังคงอยู่ที่ 10 วินาทีดั้งเดิม โปรดทราบว่าคุณไม่ควรลบโครงการ Vercel และสร้างใหม่ ให้คลิก redeploy ในเมนูการปรับใช้ภายในโครงการ Vercel ที่ปรับใช้ในปัจจุบันเพื่อให้การปรับเปลี่ยนระยะเวลาสูงสุดของฟังก์ชั่นมีผล
ในการเผยแพร่คลังสินค้าค้นหาเวอร์ชันล่าสุดของไฟล์ไบนารีที่เกี่ยวข้องเช่นไฟล์ชื่อ Uni-Api-Linux-X86_64-0.0.99.Pex ดาวน์โหลดไฟล์ไบนารีบนเซิร์ฟเวอร์และเรียกใช้:
wget https://github.com/yym68686/uni-api/releases/download/v0.0.99/uni-api-linux-x86_64-0.0.99.pex
chmod +x uni-api-linux-x86_64-0.0.99.pex
./uni-api-linux-x86_64-0.0.99.pexขั้นแรกให้เข้าสู่ระบบในพาเนลในบริการเพิ่มเติมคลิกที่แท็บเรียกใช้แอปพลิเคชันของคุณเองเพื่อเปิดใช้งานตัวเลือกในการเรียกใช้โปรแกรมของคุณเองจากนั้นไปที่การจองพอร์ตพาเนลเพื่อเปิดพอร์ตแบบสุ่ม
หากคุณไม่มีชื่อโดเมนของคุณเองให้ไปที่เว็บไซต์ WWW Panel และลบชื่อโดเมนเริ่มต้นที่มีให้ จากนั้นสร้างโดเมนใหม่โดยมีโดเมนเป็นสิ่งที่คุณเพิ่งลบ หลังจากคลิกการตั้งค่าขั้นสูงให้ตั้งค่าประเภทเว็บไซต์เป็นพร็อกซีโดเมนและพอร์ตพร็อกซีควรชี้ไปที่พอร์ตที่คุณเพิ่งเปิด อย่าเลือกใช้ https
SSH เข้าสู่ระบบไปยังเซิร์ฟเวอร์ Serv00 ดำเนินการคำสั่งต่อไปนี้:
git clone --depth 1 -b main --quiet https://github.com/yym68686/uni-api.git
cd uni-api
python -m venv uni-api
tmux new -s uni-api
source uni-api/bin/activate
export CFLAGS= " -I/usr/local/include "
export CXXFLAGS= " -I/usr/local/include "
export CC=gcc
export CXX=g++
export MAX_CONCURRENCY=1
export CPUCOUNT=1
export MAKEFLAGS= " -j1 "
CMAKE_BUILD_PARALLEL_LEVEL=1 cpuset -l 0 pip install -vv -r requirements.txt
cpuset -l 0 pip install -r -vv requirements.txtCTRL+BD เพื่อออกจาก TMUX รอสองสามชั่วโมงเพื่อให้การติดตั้งเสร็จสมบูรณ์และหลังจากการติดตั้งเสร็จสมบูรณ์ให้ดำเนินการคำสั่งต่อไปนี้:
tmux attach -t uni-api
source uni-api/bin/activate
export CONFIG_URL=http://file_url/api.yaml
export DISABLE_DATABASE=true
# Modify the port, xxx is the port, modify it yourself, corresponding to the port opened in the panel Port reservation
sed -i ' ' ' s/port=8000/port=xxx/ ' main.py
sed -i ' ' ' s/reload=True/reload=False/ ' main.py
python main.pyใช้ CTRL+BD เพื่อออกจาก TMUX ทำให้โปรแกรมทำงานในพื้นหลัง ณ จุดนี้คุณสามารถใช้ Uni-API ในไคลเอนต์แชทอื่น ๆ สคริปต์ทดสอบม้วน:
curl -X POST https://xxx.serv00.net/v1/chat/completions
-H ' Content-Type: application/json '
-H ' Authorization: Bearer sk-xxx '
-d ' {"model": "gpt-4o","messages": [{"role": "user","content": "Hello"}]} 'เอกสารอ้างอิง:
https://docs.serv00.com/python/
https://linux.do/t/topic/201181
https://linux.do/t/topic/218738
เริ่มคอนเทนเนอร์
docker run --user root -p 8001:8000 --name uni-api -dit
-e CONFIG_URL=http://file_url/api.yaml # If the local configuration file has already been mounted, there is no need to set CONFIG_URL
-v ./api.yaml:/home/api.yaml # If CONFIG_URL is already set, there is no need to mount the configuration file
-v ./uniapi_db:/home/data # If you do not want to save statistical data, there is no need to mount this folder
yym68686/uni-api:latestหรือถ้าคุณต้องการใช้ Docker Compose นี่คือตัวอย่าง Docker-compose.yml ตัวอย่าง:
services :
uni-api :
container_name : uni-api
image : yym68686/uni-api:latest
environment :
- CONFIG_URL=http://file_url/api.yaml # If a local configuration file is already mounted, there is no need to set CONFIG_URL
ports :
- 8001:8000
volumes :
- ./api.yaml:/home/api.yaml # If CONFIG_URL is already set, there is no need to mount the configuration file
- ./uniapi_db:/home/data # If you do not want to save statistical data, there is no need to mount this folderconfig_url เป็น URL ของไฟล์การกำหนดค่าระยะไกลที่สามารถดาวน์โหลดได้โดยอัตโนมัติ ตัวอย่างเช่นหากคุณไม่สะดวกในการแก้ไขไฟล์การกำหนดค่าบนแพลตฟอร์มที่แน่นอนคุณสามารถอัปโหลดไฟล์กำหนดค่าไปยังบริการโฮสต์และให้ลิงก์โดยตรงไปยัง UNI-API เพื่อดาวน์โหลดซึ่งเป็น config_url หากคุณใช้ไฟล์การกำหนดค่าที่ติดตั้งในเครื่องไม่จำเป็นต้องตั้งค่า config_url config_url ใช้เมื่อไม่สะดวกในการติดตั้งไฟล์การกำหนดค่า
เรียกใช้คอนเทนเนอร์เขียน Docker ในพื้นหลัง
docker-compose pull
docker-compose up -dDocker Build
docker build --no-cache -t uni-api:latest -f Dockerfile --platform linux/amd64 .
docker tag uni-api:latest yym68686/uni-api:latest
docker push yym68686/uni-api:latestคลิกเดียวรีสตาร์ทรูปภาพ Docker
set -eu
docker pull yym68686/uni-api:latest
docker rm -f uni-api
docker run --user root -p 8001:8000 -dit --name uni-api
-e CONFIG_URL=http://file_url/api.yaml
-v ./api.yaml:/home/api.yaml
-v ./uniapi_db:/home/data
yym68686/uni-api:latest
docker logs -f uni-apiการทดสอบม้วนงอพักผ่อน
curl -X POST http://127.0.0.1:8000/v1/chat/completions
-H " Content-Type: application/json "
-H " Authorization: Bearer ${API} "
-d ' {"model": "gpt-4o","messages": [{"role": "user", "content": "Hello"}],"stream": true} 'บรรจุภัณฑ์ PEX Linux:
VERSION= $( cat VERSION )
pex -D . -r requirements.txt
-c uvicorn
--inject-args ' main:app --host 0.0.0.0 --port 8000 '
--platform linux_x86_64-cp-3.10.12-cp310
--interpreter-constraint ' ==3.10.* '
--no-strip-pex-env
-o uni-api-linux-x86_64- ${VERSION} .pexบรรจุภัณฑ์ MacOS:
VERSION= $( cat VERSION )
pex -r requirements.txt
-c uvicorn
--inject-args ' main:app --host 0.0.0.0 --port 8000 '
-o uni-api-macos-arm64- ${VERSION} .pexเราขอขอบคุณผู้สนับสนุนต่อไปนี้สำหรับการสนับสนุนของพวกเขา:
หากคุณต้องการสนับสนุนโครงการของเราคุณสามารถสนับสนุนเราได้ในรูปแบบต่อไปนี้:
paypal
USDT-TRC20, USDT-TRC20 ที่อยู่กระเป๋าเงิน: TLFbqSv5pDu5he43mVmK1dNx7yBMFeN7d8
Aliipay
ขอบคุณสำหรับการสนับสนุน!
Error processing request or performing moral check: 404: No matching model found ปรากฏอยู่เสมอ?การตั้งค่า enable_moderation เป็นเท็จจะแก้ไขปัญหานี้ เมื่อ enable_moderation เป็นจริง API จะต้องสามารถใช้โมเดลการปรับเปลี่ยนข้อความและหากคุณไม่ได้ให้การปรับเปลี่ยนข้อความในการตั้งค่าโมเดลผู้ให้บริการข้อผิดพลาดจะเกิดขึ้นระบุว่าไม่พบโมเดล
ตั้งค่าการสั่งซื้อช่องใน API_KEYS โดยตรง ไม่จำเป็นต้องมีการตั้งค่าอื่น ๆ ตัวอย่างไฟล์การกำหนดค่า:
providers :
- provider : ai1
base_url : https://xxx/v1/chat/completions
api : sk-xxx
- provider : ai2
base_url : https://xxx/v1/chat/completions
api : sk-xxx
api_keys :
- api : sk-1234
model :
- ai2/*
- ai1/*ด้วยวิธีนี้ขอ AI2 ก่อนและหากล้มเหลวขอ AI1
อัลกอริทึมการตั้งเวลาทั้งหมดจะต้องเปิดใช้งานโดยการตั้งค่า api_keys (api) .preferences.scheduling_algorithm ในไฟล์การกำหนดค่ากับค่าใด ๆ : คงที่ _priority, น้ำหนัก _Round_Robin, ลอตเตอรี, สุ่ม, round_robin
คงที่ _Priority: กำหนดเวลาลำดับความสำคัญคงที่ คำขอทั้งหมดจะถูกดำเนินการโดยช่องสัญญาณของโมเดลที่มีคำขอของผู้ใช้เป็นครั้งแรก ในกรณีที่เกิดข้อผิดพลาดจะเปลี่ยนเป็นช่องถัดไป นี่คืออัลกอริทึมการตั้งเวลาเริ่มต้น
น้ำหนัก _round_robin: การปรับสมดุลโหลดรอบถ่วงน้ำหนัก, ร้องขอแชนเนลกับโมเดลที่ผู้ใช้ร้องขอตามลำดับน้ำหนักที่ตั้งไว้ในไฟล์การกำหนดค่า API_KEYS. (API) .Model
ลอตเตอรี: วาดบาลานซ์การโหลดรอบโรบินโดยสุ่มร้องขอช่องของโมเดลด้วยคำขอผู้ใช้ตามชุดน้ำหนักในไฟล์การกำหนดค่า API_KEYS (API) .Model
Round_robin: การปรับสมดุลการโหลดแบบกลม-โรบินร้องขอช่องที่เป็นเจ้าของโมเดลที่ผู้ใช้ร้องขอตามลำดับการกำหนดค่าในไฟล์การกำหนดค่า API_KEYS. (API) .Model คุณสามารถตรวจสอบคำถามก่อนหน้าเกี่ยวกับวิธีการตั้งค่าลำดับความสำคัญของช่อง
ยกเว้นช่องพิเศษบางอย่างที่แสดงในการกำหนดค่าขั้นสูงผู้ให้บริการรูปแบบ OpenAI ทั้งหมดจำเป็นต้องกรอกข้อมูลใน BASE_URL อย่างสมบูรณ์ซึ่งหมายความว่า BASE_URL จะต้องจบลงด้วย/v1/แชท/เสร็จสมบูรณ์ หากคุณใช้รุ่น GitHub base_url ควรกรอกเป็น https://models.inference.ai.azure.com/chat/completions ไม่ใช่ URL ของ Azure
การตั้งค่าการหมดเวลาระดับช่องทางมีลำดับความสำคัญสูงกว่าการตั้งค่าการหมดเวลาแบบจำลองทั่วโลก ลำดับความสำคัญคือ: การตั้งค่าการหมดเวลาโมเดลระดับช่องทาง> การตั้งค่าการหมดเวลาเริ่มต้นระดับช่องทาง> การตั้งค่าการหมดเวลาโมเดลทั่วโลก> การตั้งค่าการหมดเวลาเริ่มต้นเริ่มต้น> สภาพแวดล้อมการหมดเวลาตัวแปร
โดยการปรับเวลาหมดเวลาของรุ่นคุณสามารถหลีกเลี่ยงข้อผิดพลาดของบางช่องสัญญาณหมดเวลา หากคุณพบข้อผิดพลาด {'error': '500', 'details': 'fetch_response_stream Read Response Timeout'} โปรดลองเพิ่มเวลาหมดเวลาของรุ่น
หากคุณต้องการกำหนดขีด จำกัด ความถี่เดียวกันสำหรับสี่รุ่น Gemini-1.5-Pro-Latest, Gemini-1.5-Pro, Gemini-1.5-Pro-001, Gemini-1.5-Pro-002 พร้อมกันคุณสามารถตั้งค่าได้เช่นนี้:
api_key_rate_limit :
gemini-1.5-pro : 1000/minสิ่งนี้จะตรงกับทุกรุ่นที่มีสตริง Gemini-1.5-Pro ขีด จำกัด ความถี่สำหรับทั้งสี่รุ่นเหล่านี้, Gemini-1.5-Pro-Latest, Gemini-1.5-Pro, Gemini-1.5-Pro-001, Gemini-1.5-Pro-002 จะถูกตั้งค่าเป็น 1,000/นาที ตรรกะสำหรับการกำหนดค่าฟิลด์ API_KEY_RATE_LIMIT มีดังนี้นี่คือไฟล์การกำหนดค่าตัวอย่าง:
api_key_rate_limit :
gemini-1.5-pro : 1000/min
gemini-1.5-pro-002 : 500/minในเวลานี้หากมีคำขอโดยใช้ Model Gemini-1.5-Pro-002
ขั้นแรก UNI-API จะพยายามจับคู่โมเดลใน API_KEY_RATE_LIMIT อย่างแม่นยำ หากตั้งค่าขีด จำกัด อัตราสำหรับ Gemini-1.5-Pro-002 แล้วขีด จำกัด อัตราสำหรับ Gemini-1.5-Pro-002 คือ 500/นาที หากโมเดลที่ร้องขอในเวลานี้ไม่ใช่ Gemini-1.5-Pro-pro-002 แต่ Gemini-1.5-Pro-Latest เนื่องจาก API_KEY_RATE_LIMIT ไม่มีการ จำกัด อัตราสำหรับ Gemini-1.5-Pro-Latest ตั้งค่าเป็น 1,000/นาที
