OpenOpenAI下載 - OpenOpenAI源代碼下載

OpenOpenAI

其他源碼

1.0.0

下載

Openopenai

示例用法

建立狀態

簡介
為什麼？
堆
發展
- 環境變量
- 服務
- E2E示例
  - 自定義功能示例
  - 檢索工具示例
- 服務器路線
托多
執照

簡介

該項目是Openai的新型助手API的自主版本。 ？

所有API路線定義和類型都是從OpenAI的官方OpenAPI規格中100％自動生成的，因此在官方API和您的自定義API之間切換所需的一切都在更改baseURL 。？

這意味著所有API參數，響應和類型與官方的OpenAI API均與電線兼容，並且它們自動生成的事實意味著，隨著時間的推移使它們保持同步相對容易。

這是使用官方Node.js openai軟件包的示例：

 import OpenAI from 'openai'

// The only difference is the `baseURL` pointing to your custom API server 
const openai = new OpenAI ( {
  baseURL : 'http://localhost:3000'
} )

// Since the custom API is spec-compliant with OpenAI, you can use the sdk normally ?
const assistant = await openai . beta . assistants . create ( {
  model : 'gpt-4-1106-preview' ,
  instructions : 'You are a helpful assistant.'
} )

python示例

這是使用官方Python openai包的同一示例：

 from openai import OpenAI

client = OpenAI (
    base_url : "http://localhost:3000"
)

# Now you can use the sdk normally!
# (only file and beta assistant resources are currently supported)
# You can even switch back and forth between the official and custom APIs!
assistant = client . beta . assistants . create (
    model = "gpt-4-1106-preview" ,
    description = "You are a helpful assistant."
)

請注意，該項目並不是要全面娛樂整個OpenAI API。相反，它僅專注於新助手API的狀態部分。支持以下資源類型：

助手
助理files
文件
消息
消息文件
線程
運行
runsteps

有關助手的工作方式，請參見《 OpenAI助理指南》官方指南。

為什麼？

能夠自行運行與官方OpenAI助手100％兼容的自定義OpenAi助手，可以解鎖各種有用的可能性：

使用OpenAI助手與自定義型號（OSS FTW！）？
通過內置檢索工具（Langchain和Llamaindex集成即將推出）的完全可定制的抹布
使用自定義代碼解釋器，例如開放式互動器
助手的自我託管 /本地部署
完全控制助手evals
在完全沙盒環境中開發和測試GPT
在部署到OpenAI“ GPT Store”之前，對定制操作進行沙盒測試

最重要的是，如果OpenAI“ GPT Store”最終會吸引Chatgpt每週的1億個活躍用戶，那麼可以可靠地運行，調試和自定義OpenAI兼容的助手的能力最終將在未來變得非常重要。

我什至可以想像一個未來的助理商店與Openai的GPT完全兼容，但是它不再依靠Openai作為看門人，而是可以完全或部分分散。？

堆

Postgres-通過Prisma（架構文件）的主要數據存儲
REDIS-異步任務隊列用於處理線程通過BULLMQ運行的備份商店
S3-存儲上傳的文件
- 支持任何與S3兼容的存儲提供商，例如CloudFlare R2
HONO-通過 @hono/zod -openapi服務REST API
- 默認情況下，我們正在使用Node.js適配器，但是Hono支持CF工人，Vercel，Netlify，Deno，Bun，Lambda等許多環境。
dexter- dexa生產抹布
打字稿？

發展

先決條件：

節點> = 18
PNPM> = 8

安裝DEPS：

pnpm install

在本地生成Prisma類型：

pnpm generate

環境變量

cp .env.example .env

Postgres
- DATABASE_URL Postgres連接字符串
- 在MacOS上： brew install postgresql && brew services start postgresql
- 您需要運行npx prisma db push根據我們的Prisma架構設置數據庫
Openai
- OPENAI_API_KEY -OpenAI API鍵，用於運行基礎聊天完成電話
- 這是目前需要的，但是根據人們的興趣，對本地模型和其他提供商的支持並不困難
Redis
- 在MacOS上： brew install redis && brew services start redis
- 如果您運行了本地REDIS實例，則默認REDIS env var應該在不觸摸它們的情況下工作
- REDIS_HOST可選；默認為localhost
- REDIS_PORT可選;默認為6379
- REDIS_USERNAME可選;默認為default
- REDIS_PASSWORD可選
S3-需要使用文件附件
- 支持任何與S3兼容的提供商，例如Cloudflare R2
- 稍作地，您可以使用Minio或LocalStack等本地S3服務器
  - 要在MacOS上運行LocalStack： brew install localstack/tap/localstack-cli && localstack start -d
  - 運行Minio MacOS： brew install minio/stable/minio && minio server /data
- 不過，我建議使用CloudFlare R2 - 這很棒，對於大多數用例，應該是免費的！
- S3_BUCKET必需
- S3_REGION可選；默認為auto
- S3_ENDPOINT必需；示例： https://<id>.r2.cloudflarestorage.com
- ACCESS_KEY_ID必需（CloudFlare R2文檔）
- SECRET_ACCESS_KEY必需（CloudFlare R2文檔）

服務

該應用程序由兩個服務組成：一個RESTFUL API服務器和一個異步任務跑步者。兩種服務都是無狀態的，可以水平縮放。

有兩種方法可以在本地運行這些服務。最快的方法是通過tsx ：

 # Start the REST API server in one shell
npx tsx src/server

# Start an async task queue runner in another shell
npx tsx src/runner

另外，您可以將源ts轉移到JS，這是在生產中運行的首選：

pnpm build

# Start the REST API server in one shell
npx tsx dist/server

# Start an async task queue runner in another shell
npx tsx dist/runner

E2E示例

自定義功能示例

此示例包含一個使用自定義get_weather函數的端到端助手腳本。

您可以使用node.js的官方OpenAi客戶端對https://api.openai.com/v1託管的默認OpenAI API運行。

npx tsx e2e

要針對本地API運行相同的測試套件，您可以運行：

OPENAI_API_BASE_URL= ' http://127.0.0.1:3000 ' npx tsx e2e

使用官方的OpenAi Node.js客戶端看到這兩個測試套件都在運行完全相同的助手代碼非常酷 - 兩種版本之間沒有任何明顯的差異。 huzzah！？

檢索工具示例

此示例包含一個端到端的助手腳本，該腳本將內置的retrieval工具與此readme.md文件作為附件。

您可以使用node.js的官方OpenAi客戶端對https://api.openai.com/v1託管的默認OpenAI API運行。

npx tsx e2e/retrieval.ts

要針對本地API運行相同的測試套件，您可以運行：

OPENAI_API_BASE_URL= ' http://127.0.0.1:3000 ' npx tsx e2e/retrieval.ts

由於OpenAI的內置檢索實現和我們的默認，幼稚的檢索實現，輸出可能會略有不同。

請注意，當前的retrieval實現僅支持文本文件，例如text/plain和降價，因為目前尚未進行預處理或轉換。目前，我們還使用一種非常幼稚的檢索方法，該方法總是返回完整的文件內容，而不是對其進行預處理，而僅返回最相關的塊。有關更多信息，請參閱此問題。

服務器路線

 GET       /files
POST      /files
DELETE    /files/:file_id
GET       /files/:file_id
GET       /files/:file_id/content
GET       /assistants
POST      /assistants
GET       /assistants/:assistant_id
POST      /assistants/:assistant_id
DELETE    /assistants/:assistant_id
GET       /assistants/:assistant_id/files
GET       /assistants/:assistant_id/files
POST      /assistants/:assistant_id/files
DELETE    /assistants/:assistant_id/files/:file_id
GET       /assistants/:assistant_id/files/:file_id
POST      /threads
GET       /threads/:thread_id
POST      /threads/:thread_id
DELETE    /threads/:thread_id
GET       /threads/:thread_id/messages
POST      /threads/:thread_id/messages
GET       /threads/:thread_id/messages/:message_id
POST      /threads/:thread_id/messages/:message_id
GET       /threads/:thread_id/messages/:message_id/files
GET       /threads/:thread_id/messages/:message_id/files/:file_id
GET       /threads/:thread_id/runs
POST      /threads/runs
POST      /threads/:thread_id/runs
GET       /threads/:thread_id/runs/:run_id
POST      /threads/:thread_id/runs/:run_id
POST      /threads/:thread_id/runs/:run_id/submit_tool_outputs
POST      /threads/:thread_id/runs/:run_id/cancel
GET       /threads/:thread_id/runs/:run_id/steps
GET       /threads/:thread_id/runs/:run_id/steps/:step_id
GET       /openapi

您可以通過運行服務器來查看服務器的自動生成的OpenAPI規格，然後訪問http://127.0.0.1:3000/openapi