vercel llm api

Python Vercel LLM API

這是Vercel AI遊樂場的逆向工程API包裝器，它允許免費訪問許多LLM，包括Openai的Chatgpt，Cohere's Commery Nightly以及一些開源型號。

目錄：

• 特徵
• 限制
• 安裝
• 文件
  • 使用客戶端
    • 下載可用型號
    • 生成文本
    • 生成聊天消息
  • 雜項
    • 更改記錄級別
• 版權
  • 版權通知

用markdown-toc生成的目錄。

特徵：

• 下載可用型號
• 生成文本
• 生成聊天消息
• 設置自定義參數
• 流響應

限制：

• 用戶代理是硬編碼
• 沒有驗證支持
• 無法使用“ Pro”或“ Hobby”模型

安裝：

您可以通過運行以下命令來安裝此庫：

 pip3 install vercel-llm-api

文件:

示例可以在/examples目錄中找到。要運行這些示例，只需從終端執行隨附的Python文件即可。

 python3 examples/generate.py

使用客戶端：

要使用此庫，只需導入vercel_ai並創建一個vercel_ai.Client實例。您可以使用proxy關鍵字參數指定代理。

正常示例：

 import vercel_ai
client = vercel_ai . Client ()

代理示例：

 import vercel_ai
client = vercel_ai . Client ( proxy = "socks5h://193.29.62.48:11003" )

請注意，以下示例假設client是您的vercel_ai.Client實例的名稱。

下載可用型號：

客戶在初始化時下載可用模型，並將其存儲在client.models中。

 >> > print ( json . dumps ( client . models , indent = 2 ))

{
  "anthropic:claude-instant-v1" : { 
    "id" : "anthropic:claude-instant-v1" , #the model's id
    "provider" : "anthropic" ,             #the model's provider
    "providerHumanName" : "Anthropic" ,    #the provider's display name
    "makerHumanName" : "Anthropic" ,       #the maker of the model
    "minBillingTier" : "hobby" ,           #the minimum billing tier needed to use the model
    "parameters" : {                      #a dict of optional parameters that can be passed to the generate function
      "temperature" : {                   #the name of the parameter
        "value" : 1 ,                      #the default value for the parameter
        "range" : [ 0 , 1 ]                  #a range of possible values for the parameter
      },
      ...
    }
    ...
  }
}

請注意，由於尚無AUTH，因此如果模型具有"minBillingTier"屬性，則無法使用它。

client.model_ids中也可用模型ID列表。

 >> > print ( json . dumps ( client . model_ids , indent = 2 ))
[
  "anthropic:claude-instant-v1" , #locked to hobby tier; unusable
  "anthropic:claude-v1" ,         #locked to hobby tier; unusable
  "replicate:replicate/alpaca-7b" ,
  "replicate:stability-ai/stablelm-tuned-alpha-7b" ,
  "huggingface:bigscience/bloom" ,
  "huggingface:bigscience/bloomz" ,
  "huggingface:google/flan-t5-xxl" ,
  "huggingface:google/flan-ul2" ,
  "huggingface:EleutherAI/gpt-neox-20b" ,
  "huggingface:OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5" ,
  "huggingface:bigcode/santacoder" ,
  "cohere:command-medium-nightly" ,
  "cohere:command-xlarge-nightly" ,
  "openai:gpt-4" ,                #locked to pro tier; unusable
  "openai:code-cushman-001" ,
  "openai:code-davinci-002" ,
  "openai:gpt-3.5-turbo" ,
  "openai:text-ada-001" ,
  "openai:text-babbage-001" ,
  "openai:text-curie-001" ,
  "openai:text-davinci-002" ,
  "openai:text-davinci-003"
]

可以在client.model_params上找到每個模型的默認參數的命令。

 >> > print ( json . dumps ( client . model_defaults , indent = 2 ))
{
  "anthropic:claude-instant-v1" : {
    "temperature" : 1 ,
    "maximumLength" : 200 ,
    "topP" : 1 ,
    "topK" : 1 ,
    "presencePenalty" : 1 ,
    "frequencyPenalty" : 1 ,
    "stopSequences" : [
      " n n Human:"
    ]
  },
  ...
}

生成文本：

要生成一些文本，請使用client.generate函數，該函數接受以下參數：

• model - 您要使用的模型的ID。
• prompt - 您的提示。
• params = {} - 可選參數的dist。有關如何找到這些信息，請參見上一節。

該函數是一個發電機，將新生成的文本返回為字符串。

流示例：

 for chunk in client . generate ( "openai:gpt-3.5-turbo" , "Summarize the GNU GPL v3" ):
  print ( chunk , end = "" , flush = True )

非流程示例：

 result = ""
for chunk in client . generate ( "openai:gpt-3.5-turbo" , "Summarize the GNU GPL v3" ):
  result += chunk
print ( result )

生成聊天消息：

要生成聊天消息，請使用client.chat函數，該函數接受以下參數：

• model - 您要使用的模型的ID。
• messages - 消息列表。這種格式與您如何使用官方OpenAI API相同。
• params = {} - 可選參數的dist。有關如何找到這些內容，請參見“下載可用模型”部分。

該函數是一個發電機，將新生成的文本返回為字符串。

 messages = [
  { "role" : "system" , "content" : "You are a helpful assistant." },
  { "role" : "user" , "content" : "Who won the world series in 2020?" },
  { "role" : "assistant" , "content" : "The Los Angeles Dodgers won the World Series in 2020." },
  { "role" : "user" , "content" : "Where was it played?" }
]
for chunk in client . chat ( "openai:gpt-3.5-turbo" , messages ):
  print ( chunk , end = "" , flush = True )
print ()

雜項：

更改記錄級別：

如果要顯示調試消息，只需致電vercel_ai.logger.setLevel 。

 import vercel_ai
import logging
vercel_ai . logger . setLevel ( logging . INFO )

版權：

該程序在GNU GPL V3下獲得許可。所有代碼都是由我撰寫的，Ading2210。

版權通知：

 ading2210/vercel-llm-api: a reverse engineered API wrapper for the Vercel AI Playground
Copyright (C) 2023 ading2210

This program is free software: you can redistribute it and/or modify
it under the terms of the GNU General Public License as published by
the Free Software Foundation, either version 3 of the License, or
(at your option) any later version.

This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
GNU General Public License for more details.

You should have received a copy of the GNU General Public License
along with this program.  If not, see <https://www.gnu.org/licenses/>.