OpenPipe

Примечание. Мы временно прекратили разработку в версии OpenPipe с открытым исходным кодом, чтобы интегрировать какой-то запатентованный код стороннего стороннего. Мы надеемся сделать непреодоленные части репозитория снова открытыми под моделью открытого ядра, как только у нас будет пропускная способность для этого!

OpenPipe

Платформа с тонкой настройкой с открытым исходным кодом.

Демо - бег на местном уровне - документы

Используйте мощные, но дорогие LLMS для тонкой настройки меньших и более дешевых моделей, подходящих для ваших точных потребностей. Запросите свои прошлые запросы и оцените модели друг против друга. Переключитесь между OpenAI и тонкими моделями с одной строкой кода.

Функции

• Легкая интеграция с SDK Openai в Python и TypeScript.
  • Python SDK
  • TypeScript SDK
• OpenAI-совместимая завершение чата Конечная точка.
• Mine-Tune GPT 3.5, Mistral и Llama 2 модели. Хоста на платформе или загрузите вес.
  • Выход модели открыта.
  • Переключение с GPT 4 на тонкую модель Mistral только требует изменения имени модели.
• Журналы запросов с использованием мощных встроенных фильтров.
• Импорт наборов данных в файлах openai-совместимых JSONL.
• Обрезайте большие куски дублирования текста, как подсказки системы.
• Сравните точность вывода с базовыми моделями, такими как GPT-3.5-Turbo.

Поддерживаемые базовые модели

• Mistralai/Mixtral-8x7b-Instruct-V0.1
• OpenPipe/Mistral-FT-оптимизированный-1227
• Метама/лама-3-8b
• Метама/лама-3-70b
• GPT-3.5-Turbo-0613
• GPT-3.5-Turbo-1106
• GPT-3.5-Turbo-0125

Документация

• Смотрите документы

Бег на местном уровне

1. Установите Postgresql.
2. Установите Nodejs 20 (более ранние версии, скорее всего, будут работать, но не протестированы).
3. Установить pnpm : npm i -g pnpm
4. Клон этот репозиторий: git clone https://github.com/openpipe/openpipe
5. Установите зависимости: cd openpipe && pnpm install
6. Создайте файл .env ( cd app && cp .env.example .env ) и введите свой OPENAI_API_KEY .
7. Если вы только что установили Postgres и хотите использовать DATABASE_URL по умолчанию. Запустите следующие команды:

psql postgres
CREATE ROLE postgres WITH LOGIN PASSWORD ' postgres ' ;
ALTER ROLE postgres SUPERUSER ;

8. Обновление DATABASE_URL если необходимо, чтобы указать на ваш экземпляр Postgres и запустить pnpm prisma migrate dev в каталоге app для создания базы данных.
9. Создайте приложение GitHub OAuth, установите URL -адрес обратного вызова на <your local instance>/api/auth/callback/github , например http://localhost:3000/api/auth/callback/github .
10. Обновите значения GITHUB_CLIENT_ID и GITHUB_CLIENT_SECRET из приложения Github OAuth (примечание: PR, чтобы сделать авторитет необязательным при выполнении локального вклада!).
11. Чтобы запустить приложение запустить pnpm dev в каталоге app .
12. Перейдите к http: // localhost: 3000

Используя локально

import os
from openpipe import OpenAI

client = OpenAI(
    api_key= " Your API Key " ,
    openpipe={
        " api_key " : " Your OpenPipe API Key " ,
        " base_url " : " http://localhost:3000/api/v1 " , # Local OpenPipe instance
    }
)

completion = client.chat.completions.create(
    model= " gpt-3.5-turbo " ,
    messages=[{ " role " : " system " , " content " : " count to 10 " }],
    openpipe={
        " tags " : { " prompt_id " : " counting " },
        " log_request " : True
    },
)

Тестирование локально

1. Скопируйте свой файл .env в .env.test .
2. Обновите DATABASE_URL , чтобы иметь другое имя базы данных, чем ваша разработка
3. Запустите DATABASE_URL=[your new datatase url] pnpm prisma migrate dev --skip-seed --skip-generate
4. Запустите pnpm test