vercel llm api

Python Vercel LLM API

Este é um invólucro de API de engenharia reversa para o Playground Vercel AI, que permite acesso gratuito a muitos LLMs, incluindo o ChatGPT do OpenAI, o comando de coere todas as noites, além de alguns modelos de código aberto.

Índice:

• Características
• Limitações
• Instalação
• Documentação
  • Usando o cliente
    • Baixando os modelos disponíveis
    • Gerando texto
    • Gerando mensagens de bate -papo
  • Misc
    • Alterando o nível de registro
• Direitos autorais
  • Aviso de direitos autorais

ÍNDER gerado com o Markdown-Toc.

Características:

• Baixe os modelos disponíveis
• Gerar texto
• Gerar mensagens de bate -papo
• Defina parâmetros personalizados
• Transmitir as respostas

Limitações:

• O agente do usuário é codificado
• Sem suporte de autenticação
• Não é possível usar modelos "pro" ou "hobby"

Instalação:

Você pode instalar esta biblioteca executando o seguinte comando:

 pip3 install vercel-llm-api

Documentação:

Exemplos podem ser encontrados no diretório /examples . Para executar esses exemplos, basta executar os arquivos Python incluídos do seu terminal.

 python3 examples/generate.py

Usando o cliente:

Para usar esta biblioteca, basta importar vercel_ai e criar uma instância vercel_ai.Client . Você pode especificar um proxy usando o argumento da palavra -chave proxy .

Exemplo normal:

 import vercel_ai
client = vercel_ai . Client ()

Exemplo proxado:

 import vercel_ai
client = vercel_ai . Client ( proxy = "socks5h://193.29.62.48:11003" )

Observe que os exemplos a seguir assumem que client é o nome da sua instância vercel_ai.Client .

Download dos modelos disponíveis:

O cliente baixa os modelos disponíveis após a inicialização e os armazena em client.models .

 >> > print ( json . dumps ( client . models , indent = 2 ))

{
  "anthropic:claude-instant-v1" : { 
    "id" : "anthropic:claude-instant-v1" , #the model's id
    "provider" : "anthropic" ,             #the model's provider
    "providerHumanName" : "Anthropic" ,    #the provider's display name
    "makerHumanName" : "Anthropic" ,       #the maker of the model
    "minBillingTier" : "hobby" ,           #the minimum billing tier needed to use the model
    "parameters" : {                      #a dict of optional parameters that can be passed to the generate function
      "temperature" : {                   #the name of the parameter
        "value" : 1 ,                      #the default value for the parameter
        "range" : [ 0 , 1 ]                  #a range of possible values for the parameter
      },
      ...
    }
    ...
  }
}

Observe que, como ainda não há autenticação, se um modelo tiver a propriedade "minBillingTier" presente, ela não poderá ser usada.

Uma lista de IDs de modelo também está disponível em client.model_ids .

 >> > print ( json . dumps ( client . model_ids , indent = 2 ))
[
  "anthropic:claude-instant-v1" , #locked to hobby tier; unusable
  "anthropic:claude-v1" ,         #locked to hobby tier; unusable
  "replicate:replicate/alpaca-7b" ,
  "replicate:stability-ai/stablelm-tuned-alpha-7b" ,
  "huggingface:bigscience/bloom" ,
  "huggingface:bigscience/bloomz" ,
  "huggingface:google/flan-t5-xxl" ,
  "huggingface:google/flan-ul2" ,
  "huggingface:EleutherAI/gpt-neox-20b" ,
  "huggingface:OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5" ,
  "huggingface:bigcode/santacoder" ,
  "cohere:command-medium-nightly" ,
  "cohere:command-xlarge-nightly" ,
  "openai:gpt-4" ,                #locked to pro tier; unusable
  "openai:code-cushman-001" ,
  "openai:code-davinci-002" ,
  "openai:gpt-3.5-turbo" ,
  "openai:text-ada-001" ,
  "openai:text-babbage-001" ,
  "openai:text-curie-001" ,
  "openai:text-davinci-002" ,
  "openai:text-davinci-003"
]

Um ditado de parâmetros padrão para cada modelo pode ser encontrado em client.model_params .

 >> > print ( json . dumps ( client . model_defaults , indent = 2 ))
{
  "anthropic:claude-instant-v1" : {
    "temperature" : 1 ,
    "maximumLength" : 200 ,
    "topP" : 1 ,
    "topK" : 1 ,
    "presencePenalty" : 1 ,
    "frequencyPenalty" : 1 ,
    "stopSequences" : [
      " n n Human:"
    ]
  },
  ...
}

Gerando texto:

Para gerar algum texto, use a função client.generate , que aceita os seguintes argumentos:

• model - o ID do modelo que você deseja usar.
• prompt - seu prompt.
• params = {} - um ditado de parâmetros opcionais. Veja a seção anterior sobre como encontrá -los.

A função é um gerador que retorna o texto recém -gerado como uma string.

Exemplo de transmissão:

 for chunk in client . generate ( "openai:gpt-3.5-turbo" , "Summarize the GNU GPL v3" ):
  print ( chunk , end = "" , flush = True )

Exemplo não transmitido:

 result = ""
for chunk in client . generate ( "openai:gpt-3.5-turbo" , "Summarize the GNU GPL v3" ):
  result += chunk
print ( result )

Gerando mensagens de bate -papo:

Para gerar mensagens de bate -papo, use a função client.chat , que aceita os seguintes argumentos:

• model - o ID do modelo que você deseja usar.
• messages - uma lista de mensagens. O formato para isso é idêntico a como você usaria a API oficial do OpenAI.
• params = {} - um ditado de parâmetros opcionais. Consulte a seção "Download dos modelos disponíveis" sobre como encontrá -los.

A função é um gerador que retorna o texto recém -gerado como uma string.

 messages = [
  { "role" : "system" , "content" : "You are a helpful assistant." },
  { "role" : "user" , "content" : "Who won the world series in 2020?" },
  { "role" : "assistant" , "content" : "The Los Angeles Dodgers won the World Series in 2020." },
  { "role" : "user" , "content" : "Where was it played?" }
]
for chunk in client . chat ( "openai:gpt-3.5-turbo" , messages ):
  print ( chunk , end = "" , flush = True )
print ()

Misc:

Alterando o nível de registro:

Se você deseja mostrar as mensagens de depuração, basta ligar para vercel_ai.logger.setLevel .

 import vercel_ai
import logging
vercel_ai . logger . setLevel ( logging . INFO )

Direitos autorais:

Este programa está licenciado no GNU GPL V3. Todo o código foi escrito por mim, Ading2210.

Aviso de direitos autorais:

 ading2210/vercel-llm-api: a reverse engineered API wrapper for the Vercel AI Playground
Copyright (C) 2023 ading2210

This program is free software: you can redistribute it and/or modify
it under the terms of the GNU General Public License as published by
the Free Software Foundation, either version 3 of the License, or
(at your option) any later version.

This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
GNU General Public License for more details.

You should have received a copy of the GNU General Public License
along with this program.  If not, see <https://www.gnu.org/licenses/>.