vercel llm api
1.0.0
これは、Vercel AI PlaygroundのリバースエンジニアリングAPIラッパーであり、OpenaiのChatGpt、Cohereのコマンドの毎晩、いくつかのオープンソースモデルを含む多くのLLMに無料でアクセスできるようになりました。
MarkDown-TOCで生成された目次。
次のコマンドを実行して、このライブラリをインストールできます。
pip3 install vercel-llm-api
例については/examples Directoryに記載されています。これらの例を実行するには、ターミナルから含まれているPythonファイルを実行するだけです。
python3 examples/generate.py
このライブラリを使用するには、 vercel_aiをインポートしてvercel_ai.Clientインスタンスを作成するだけです。 proxyキーワード引数を使用してプロキシを指定できます。
通常の例：
import vercel_ai
client = vercel_ai . Client ()プロキシの例：
import vercel_ai
client = vercel_ai . Client ( proxy = "socks5h://193.29.62.48:11003" )次の例は、 clientがvercel_ai.Clientインスタンスの名前であると仮定することに注意してください。
クライアントは、初期化時に利用可能なモデルをダウンロードし、 client.modelsに保存します。
>> > print ( json . dumps ( client . models , indent = 2 ))
{
"anthropic:claude-instant-v1" : {
"id" : "anthropic:claude-instant-v1" , #the model's id
"provider" : "anthropic" , #the model's provider
"providerHumanName" : "Anthropic" , #the provider's display name
"makerHumanName" : "Anthropic" , #the maker of the model
"minBillingTier" : "hobby" , #the minimum billing tier needed to use the model
"parameters" : { #a dict of optional parameters that can be passed to the generate function
"temperature" : { #the name of the parameter
"value" : 1 , #the default value for the parameter
"range" : [ 0 , 1 ] #a range of possible values for the parameter
},
...
}
...
}
}認証はまだないため、モデルに"minBillingTier"プロパティが存在する場合、使用できないことに注意してください。
モデルIDのリストは、 client.model_idsでも利用できます。
>> > print ( json . dumps ( client . model_ids , indent = 2 ))
[
"anthropic:claude-instant-v1" , #locked to hobby tier; unusable
"anthropic:claude-v1" , #locked to hobby tier; unusable
"replicate:replicate/alpaca-7b" ,
"replicate:stability-ai/stablelm-tuned-alpha-7b" ,
"huggingface:bigscience/bloom" ,
"huggingface:bigscience/bloomz" ,
"huggingface:google/flan-t5-xxl" ,
"huggingface:google/flan-ul2" ,
"huggingface:EleutherAI/gpt-neox-20b" ,
"huggingface:OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5" ,
"huggingface:bigcode/santacoder" ,
"cohere:command-medium-nightly" ,
"cohere:command-xlarge-nightly" ,
"openai:gpt-4" , #locked to pro tier; unusable
"openai:code-cushman-001" ,
"openai:code-davinci-002" ,
"openai:gpt-3.5-turbo" ,
"openai:text-ada-001" ,
"openai:text-babbage-001" ,
"openai:text-curie-001" ,
"openai:text-davinci-002" ,
"openai:text-davinci-003"
]各モデルのデフォルトパラメーターのDICTは、 client.model_paramsで見つけることができます。
>> > print ( json . dumps ( client . model_defaults , indent = 2 ))
{
"anthropic:claude-instant-v1" : {
"temperature" : 1 ,
"maximumLength" : 200 ,
"topP" : 1 ,
"topK" : 1 ,
"presencePenalty" : 1 ,
"frequencyPenalty" : 1 ,
"stopSequences" : [
" n n Human:"
]
},
...
}いくつかのテキストを生成するには、 client.generateを使用してください。関数は次の引数を受け入れます。
model - 使用するモデルのID。prompt - プロンプト。params = {} - オプションのパラメーターのdict。これらを見つける方法については、前のセクションを参照してください。この関数は、新しく生成されたテキストを文字列として返すジェネレーターです。
ストリーミングの例：
for chunk in client . generate ( "openai:gpt-3.5-turbo" , "Summarize the GNU GPL v3" ):
print ( chunk , end = "" , flush = True )ストリーミングされていない例：
result = ""
for chunk in client . generate ( "openai:gpt-3.5-turbo" , "Summarize the GNU GPL v3" ):
result += chunk
print ( result )チャットメッセージを生成するには、次の引数を受け入れるclient.chat関数を使用します。
model - 使用するモデルのID。messages - メッセージのリスト。このための形式は、公式Openai APIの使用方法と同じです。params = {} - オプションのパラメーターのdict。これらを見つける方法については、「利用可能なモデルのダウンロード」セクションを参照してください。この関数は、新しく生成されたテキストを文字列として返すジェネレーターです。
messages = [
{ "role" : "system" , "content" : "You are a helpful assistant." },
{ "role" : "user" , "content" : "Who won the world series in 2020?" },
{ "role" : "assistant" , "content" : "The Los Angeles Dodgers won the World Series in 2020." },
{ "role" : "user" , "content" : "Where was it played?" }
]
for chunk in client . chat ( "openai:gpt-3.5-turbo" , messages ):
print ( chunk , end = "" , flush = True )
print ()デバッグメッセージを表示したい場合は、 vercel_ai.logger.setLevelに電話してください。
import vercel_ai
import logging
vercel_ai . logger . setLevel ( logging . INFO )このプログラムは、GNU GPL V3の下でライセンスされています。すべてのコードは私によって書かれており、Ading2210です。
ading2210/vercel-llm-api: a reverse engineered API wrapper for the Vercel AI Playground
Copyright (C) 2023 ading2210
This program is free software: you can redistribute it and/or modify
it under the terms of the GNU General Public License as published by
the Free Software Foundation, either version 3 of the License, or
(at your option) any later version.
This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU General Public License for more details.
You should have received a copy of the GNU General Public License
along with this program. If not, see <https://www.gnu.org/licenses/>.
