OpenPipe

注意：我們已經暫時停止了開源版OpenPipe上的開發，以集成一些專有的第三方代碼。一旦我們擁有帶寬，我們希望將存儲庫的非專有部分再次開放！

openpipe

開源微調和模型託管平台。

演示 - 本地運行 - 文檔

使用強大但昂貴的LLM來微調適合您確切需求的型號。查詢您過去的請求並相互評估模型。用一行代碼在OpenAI和微調模型之間切換。

特徵

• 在Python和Typescript中易於與OpenAI的SDK集成。
  • Python SDK
  • 打字稿SDK
• OpenAI兼容的聊天完成端點。
• 微調GPT 3.5，Mistral和Llama 2型號。主機在平台上或下載權重。
  • 模型輸出與OpenAI兼容。
  • 從GPT 4轉換為微調的Mistral模型只需要更改模型名稱。
• 使用強大的內置過濾器查詢日誌。
• 在OpenAI兼容的JSONL文件中導入數據集。
• 修剪大部分重複文本，例如係統提示。
• 將輸出精度與GPT-3.5-Turbo等基本模型進行比較。

支持的基本模型

• Mistralai/Mixtral-8X7B-Instruct-V0.1
• openpipe/mistral-ft優化1227
• meta-llama/Llama-3-8b
• meta-llama/llama-3-70b
• GPT-3.5-Turbo-0613
• GPT-3.5-Turbo-11106
• GPT-3.5-Turbo-0125

文件

• 見文檔

本地運行

1. 安裝PostgreSQL。
2. 安裝Nodejs 20（較早版本很可能有效，但沒有測試）。
3. 安裝pnpm ： npm i -g pnpm
4. 克隆此存儲庫： git clone https://github.com/openpipe/openpipe
5. 安裝依賴項： cd openpipe && pnpm install
6. 創建一個.env文件（ cd app && cp .env.example .env ）並輸入您的OPENAI_API_KEY 。
7. 如果您只是安裝了Postgres並希望使用默認DATABASE_URL運行以下命令：

psql postgres
CREATE ROLE postgres WITH LOGIN PASSWORD ' postgres ' ;
ALTER ROLE postgres SUPERUSER ;

8. 如有必要，請更新DATABASE_URL ，以指向您的Postgres實例並運行PNPM PRISMA在app Directory中pnpm prisma migrate dev以創建數據庫。
9. 創建一個github oauth應用程序，將回調URL設置為<your local instance>/api/auth/callback/github ，例如http://localhost:3000/api/auth/callback/github github 。
10. 從Github Oauth應用程序中更新GITHUB_CLIENT_ID和GITHUB_CLIENT_SECRET值（注意：在本地運行時可選的PR將是一個很好的貢獻！）。
11. 要啟動應用程序目錄中的app程序pnpm dev 。
12. 導航到http：// localhost：3000

在本地使用

import os
from openpipe import OpenAI

client = OpenAI(
    api_key= " Your API Key " ,
    openpipe={
        " api_key " : " Your OpenPipe API Key " ,
        " base_url " : " http://localhost:3000/api/v1 " , # Local OpenPipe instance
    }
)

completion = client.chat.completions.create(
    model= " gpt-3.5-turbo " ,
    messages=[{ " role " : " system " , " content " : " count to 10 " }],
    openpipe={
        " tags " : { " prompt_id " : " counting " },
        " log_request " : True
    },
)

本地測試

1. 將.env文件複製到.env.test 。
2. 更新DATABASE_URL以具有不同的數據庫名稱與您的開發名稱
3. 運行DATABASE_URL=[your new datatase url] pnpm prisma migrate dev --skip-seed --skip-generate
4. 運行pnpm test