vercel llm api
1.0.0
Il s'agit d'un emballage API à l'origine inverse pour le terrain de jeu Vercel AI, qui permet un accès gratuit à de nombreux LLM, y compris le chatppt d'Openai, la commande de Cohere tous les soirs, ainsi que certains modèles open source.
Table des matières générée avec Markdown-TOC.
Vous pouvez installer cette bibliothèque en exécutant la commande suivante:
pip3 install vercel-llm-api
Des exemples peuvent être trouvés dans le répertoire /examples . Pour exécuter ces exemples, exécutez simplement les fichiers Python inclus à partir de votre terminal.
python3 examples/generate.py
Pour utiliser cette bibliothèque, importez simplement vercel_ai et créez une instance vercel_ai.Client . Vous pouvez spécifier un proxy à l'aide de l'argument de mot-clé proxy .
Exemple normal:
import vercel_ai
client = vercel_ai . Client ()Exemple proxié:
import vercel_ai
client = vercel_ai . Client ( proxy = "socks5h://193.29.62.48:11003" ) Notez que les exemples suivants supposent que client est le nom de votre instance vercel_ai.Client .
Le client télécharge les modèles disponibles lors de l'initialisation et les stocke dans client.models .
>> > print ( json . dumps ( client . models , indent = 2 ))
{
"anthropic:claude-instant-v1" : {
"id" : "anthropic:claude-instant-v1" , #the model's id
"provider" : "anthropic" , #the model's provider
"providerHumanName" : "Anthropic" , #the provider's display name
"makerHumanName" : "Anthropic" , #the maker of the model
"minBillingTier" : "hobby" , #the minimum billing tier needed to use the model
"parameters" : { #a dict of optional parameters that can be passed to the generate function
"temperature" : { #the name of the parameter
"value" : 1 , #the default value for the parameter
"range" : [ 0 , 1 ] #a range of possible values for the parameter
},
...
}
...
}
} Notez que, comme il n'y a pas encore d'authentification, si un modèle a la propriété "minBillingTier" présente, elle ne peut pas être utilisée.
Une liste des ID de modèle est également disponible dans client.model_ids .
>> > print ( json . dumps ( client . model_ids , indent = 2 ))
[
"anthropic:claude-instant-v1" , #locked to hobby tier; unusable
"anthropic:claude-v1" , #locked to hobby tier; unusable
"replicate:replicate/alpaca-7b" ,
"replicate:stability-ai/stablelm-tuned-alpha-7b" ,
"huggingface:bigscience/bloom" ,
"huggingface:bigscience/bloomz" ,
"huggingface:google/flan-t5-xxl" ,
"huggingface:google/flan-ul2" ,
"huggingface:EleutherAI/gpt-neox-20b" ,
"huggingface:OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5" ,
"huggingface:bigcode/santacoder" ,
"cohere:command-medium-nightly" ,
"cohere:command-xlarge-nightly" ,
"openai:gpt-4" , #locked to pro tier; unusable
"openai:code-cushman-001" ,
"openai:code-davinci-002" ,
"openai:gpt-3.5-turbo" ,
"openai:text-ada-001" ,
"openai:text-babbage-001" ,
"openai:text-curie-001" ,
"openai:text-davinci-002" ,
"openai:text-davinci-003"
] Un dict des paramètres par défaut pour chaque modèle peut être trouvé sur client.model_params .
>> > print ( json . dumps ( client . model_defaults , indent = 2 ))
{
"anthropic:claude-instant-v1" : {
"temperature" : 1 ,
"maximumLength" : 200 ,
"topP" : 1 ,
"topK" : 1 ,
"presencePenalty" : 1 ,
"frequencyPenalty" : 1 ,
"stopSequences" : [
" n n Human:"
]
},
...
} Pour générer du texte, utilisez la fonction client.generate , qui accepte les arguments suivants:
model - L'ID du modèle que vous souhaitez utiliser.prompt - votre invite.params = {} - un dict de paramètres facultatifs. Voir la section précédente pour savoir comment les trouver.La fonction est un générateur qui renvoie le texte nouvellement généré en tant que chaîne.
Exemple en difficulté:
for chunk in client . generate ( "openai:gpt-3.5-turbo" , "Summarize the GNU GPL v3" ):
print ( chunk , end = "" , flush = True )Exemple non diffusé:
result = ""
for chunk in client . generate ( "openai:gpt-3.5-turbo" , "Summarize the GNU GPL v3" ):
result += chunk
print ( result ) Pour générer des messages de chat, utilisez la fonction client.chat , qui accepte les arguments suivants:
model - L'ID du modèle que vous souhaitez utiliser.messages - une liste de messages. Le format pour cela est identique à la façon dont vous utiliseriez l'API OpenAI officielle.params = {} - un dict de paramètres facultatifs. Voir la section "Télécharger les modèles disponibles" pour les trouver.La fonction est un générateur qui renvoie le texte nouvellement généré en tant que chaîne.
messages = [
{ "role" : "system" , "content" : "You are a helpful assistant." },
{ "role" : "user" , "content" : "Who won the world series in 2020?" },
{ "role" : "assistant" , "content" : "The Los Angeles Dodgers won the World Series in 2020." },
{ "role" : "user" , "content" : "Where was it played?" }
]
for chunk in client . chat ( "openai:gpt-3.5-turbo" , messages ):
print ( chunk , end = "" , flush = True )
print () Si vous souhaitez afficher les messages de débogage, appelez simplement vercel_ai.logger.setLevel .
import vercel_ai
import logging
vercel_ai . logger . setLevel ( logging . INFO )Ce programme est concédé sous licence dans le GNU GPL V3. Tout le code a été écrit par moi, Ading2210.
ading2210/vercel-llm-api: a reverse engineered API wrapper for the Vercel AI Playground
Copyright (C) 2023 ading2210
This program is free software: you can redistribute it and/or modify
it under the terms of the GNU General Public License as published by
the Free Software Foundation, either version 3 of the License, or
(at your option) any later version.
This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU General Public License for more details.
You should have received a copy of the GNU General Public License
along with this program. If not, see <https://www.gnu.org/licenses/>.
