vercel llm api
1.0.0
Это обертка API с обратной задачей для игровой площадки Vercel AI, которая обеспечивает бесплатный доступ ко многим LLM, включая CHATGPT OpenAI, команду Cowher, а также некоторые модели с открытым исходным кодом.
Соглашение, сгенерированное с помощью Markdown-Toc.
Вы можете установить эту библиотеку, выполнив следующую команду:
pip3 install vercel-llm-api
Примеры можно найти в каталоге /examples . Чтобы запустить эти примеры, просто выполните включенные файлы Python из вашего терминала.
python3 examples/generate.py
Чтобы использовать эту библиотеку, просто импортируйте vercel_ai и создайте экземпляр vercel_ai.Client . Вы можете указать прокси, используя аргумент ключевого слова proxy .
Обычный пример:
import vercel_ai
client = vercel_ai . Client ()Прокси -пример:
import vercel_ai
client = vercel_ai . Client ( proxy = "socks5h://193.29.62.48:11003" ) Обратите внимание, что следующие примеры предполагают, что client - это имя вашего экземпляра vercel_ai.Client .
Клиент загружает доступные модели после инициализации и хранит их в client.models .
>> > print ( json . dumps ( client . models , indent = 2 ))
{
"anthropic:claude-instant-v1" : {
"id" : "anthropic:claude-instant-v1" , #the model's id
"provider" : "anthropic" , #the model's provider
"providerHumanName" : "Anthropic" , #the provider's display name
"makerHumanName" : "Anthropic" , #the maker of the model
"minBillingTier" : "hobby" , #the minimum billing tier needed to use the model
"parameters" : { #a dict of optional parameters that can be passed to the generate function
"temperature" : { #the name of the parameter
"value" : 1 , #the default value for the parameter
"range" : [ 0 , 1 ] #a range of possible values for the parameter
},
...
}
...
}
} Обратите внимание, что, поскольку auth еще нет, если модель имеет свойство "minBillingTier" , ее нельзя использовать.
Список идентификаторов модели также доступен в client.model_ids .
>> > print ( json . dumps ( client . model_ids , indent = 2 ))
[
"anthropic:claude-instant-v1" , #locked to hobby tier; unusable
"anthropic:claude-v1" , #locked to hobby tier; unusable
"replicate:replicate/alpaca-7b" ,
"replicate:stability-ai/stablelm-tuned-alpha-7b" ,
"huggingface:bigscience/bloom" ,
"huggingface:bigscience/bloomz" ,
"huggingface:google/flan-t5-xxl" ,
"huggingface:google/flan-ul2" ,
"huggingface:EleutherAI/gpt-neox-20b" ,
"huggingface:OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5" ,
"huggingface:bigcode/santacoder" ,
"cohere:command-medium-nightly" ,
"cohere:command-xlarge-nightly" ,
"openai:gpt-4" , #locked to pro tier; unusable
"openai:code-cushman-001" ,
"openai:code-davinci-002" ,
"openai:gpt-3.5-turbo" ,
"openai:text-ada-001" ,
"openai:text-babbage-001" ,
"openai:text-curie-001" ,
"openai:text-davinci-002" ,
"openai:text-davinci-003"
] Дикт параметров по умолчанию для каждой модели можно найти на client.model_params .
>> > print ( json . dumps ( client . model_defaults , indent = 2 ))
{
"anthropic:claude-instant-v1" : {
"temperature" : 1 ,
"maximumLength" : 200 ,
"topP" : 1 ,
"topK" : 1 ,
"presencePenalty" : 1 ,
"frequencyPenalty" : 1 ,
"stopSequences" : [
" n n Human:"
]
},
...
} Чтобы сгенерировать некоторый текст, используйте функцию client.generate , которая принимает следующие аргументы:
model - идентификатор модели, которую вы хотите использовать.prompt - ваша подсказка.params = {} - DICT дополнительных параметров. Смотрите предыдущий раздел, как их найти.Функция - это генератор, который возвращает недавно сгенерированный текст в виде строки.
Потоковой пример:
for chunk in client . generate ( "openai:gpt-3.5-turbo" , "Summarize the GNU GPL v3" ):
print ( chunk , end = "" , flush = True )Пример не потрошенного:
result = ""
for chunk in client . generate ( "openai:gpt-3.5-turbo" , "Summarize the GNU GPL v3" ):
result += chunk
print ( result ) Чтобы сгенерировать сообщения чата, используйте функцию client.chat , которая принимает следующие аргументы:
model - идентификатор модели, которую вы хотите использовать.messages - список сообщений. Формат для этого идентичен тому, как вы бы использовали официальный API OpenAI.params = {} - DICT дополнительных параметров. См. Раздел «Загрузка доступных моделей» для того, как их найти.Функция - это генератор, который возвращает недавно сгенерированный текст в виде строки.
messages = [
{ "role" : "system" , "content" : "You are a helpful assistant." },
{ "role" : "user" , "content" : "Who won the world series in 2020?" },
{ "role" : "assistant" , "content" : "The Los Angeles Dodgers won the World Series in 2020." },
{ "role" : "user" , "content" : "Where was it played?" }
]
for chunk in client . chat ( "openai:gpt-3.5-turbo" , messages ):
print ( chunk , end = "" , flush = True )
print () Если вы хотите показать сообщения отладки, просто позвоните в vercel_ai.logger.setLevel .
import vercel_ai
import logging
vercel_ai . logger . setLevel ( logging . INFO )Эта программа лицензирована в соответствии с GNU GPL V3. Весь код был написан мной, ADING2210.
ading2210/vercel-llm-api: a reverse engineered API wrapper for the Vercel AI Playground
Copyright (C) 2023 ading2210
This program is free software: you can redistribute it and/or modify
it under the terms of the GNU General Public License as published by
the Free Software Foundation, either version 3 of the License, or
(at your option) any later version.
This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU General Public License for more details.
You should have received a copy of the GNU General Public License
along with this program. If not, see <https://www.gnu.org/licenses/>.
