OpenPipe

注意：我们已经暂时停止了开源版OpenPipe上的开发，以集成一些专有的第三方代码。一旦我们拥有带宽，我们希望将存储库的非专有部分再次开放！

openpipe

开源微调和模型托管平台。

演示 - 本地运行 - 文档

使用强大但昂贵的LLM来微调适合您确切需求的型号。查询您过去的请求并相互评估模型。用一行代码在OpenAI和微调模型之间切换。

特征

• 在Python和Typescript中易于与OpenAI的SDK集成。
  • Python SDK
  • 打字稿SDK
• OpenAI兼容的聊天完成端点。
• 微调GPT 3.5，Mistral和Llama 2型号。主机在平台上或下载权重。
  • 模型输出与OpenAI兼容。
  • 从GPT 4转换为微调的Mistral模型只需要更改模型名称。
• 使用强大的内置过滤器查询日志。
• 在OpenAI兼容的JSONL文件中导入数据集。
• 修剪大部分重复文本，例如系统提示。
• 将输出精度与GPT-3.5-Turbo等基本模型进行比较。

支持的基本模型

• Mistralai/Mixtral-8X7B-Instruct-V0.1
• openpipe/mistral-ft优化1227
• meta-llama/Llama-3-8b
• meta-llama/llama-3-70b
• GPT-3.5-Turbo-0613
• GPT-3.5-Turbo-11106
• GPT-3.5-Turbo-0125

文档

• 见文档

本地运行

1. 安装PostgreSQL。
2. 安装Nodejs 20（较早版本很可能有效，但没有测试）。
3. 安装pnpm ： npm i -g pnpm
4. 克隆此存储库： git clone https://github.com/openpipe/openpipe
5. 安装依赖项： cd openpipe && pnpm install
6. 创建一个.env文件（ cd app && cp .env.example .env ）并输入您的OPENAI_API_KEY 。
7. 如果您只是安装了Postgres并希望使用默认DATABASE_URL运行以下命令：

psql postgres
CREATE ROLE postgres WITH LOGIN PASSWORD ' postgres ' ;
ALTER ROLE postgres SUPERUSER ;

8. 如有必要，请更新DATABASE_URL ，以指向您的Postgres实例并运行PNPM PRISMA在app Directory中pnpm prisma migrate dev以创建数据库。
9. 创建一个github oauth应用程序，将回调URL设置为<your local instance>/api/auth/callback/github ，例如http://localhost:3000/api/auth/callback/github 。
10. 从Github Oauth应用程序中更新GITHUB_CLIENT_ID和GITHUB_CLIENT_SECRET值（注意：在本地运行时可选的PR将是一个很好的贡献！）。
11. 要启动应用程序目录中的app程序pnpm dev 。
12. 导航到http：// localhost：3000

在本地使用

import os
from openpipe import OpenAI

client = OpenAI(
    api_key= " Your API Key " ,
    openpipe={
        " api_key " : " Your OpenPipe API Key " ,
        " base_url " : " http://localhost:3000/api/v1 " , # Local OpenPipe instance
    }
)

completion = client.chat.completions.create(
    model= " gpt-3.5-turbo " ,
    messages=[{ " role " : " system " , " content " : " count to 10 " }],
    openpipe={
        " tags " : { " prompt_id " : " counting " },
        " log_request " : True
    },
)

本地测试

1. 将.env文件复制到.env.test 。
2. 更新DATABASE_URL以具有不同的数据库名称与您的开发名称
3. 运行DATABASE_URL=[your new datatase url] pnpm prisma migrate dev --skip-seed --skip-generate
4. 运行pnpm test