OpenPipe

注：オープンパイプのオープンソースバージョンの開発を一時的に停止して、独自のサードパーティコードを統合しました。帯域幅が得られたら、オープンコアモデルの下でリポジトリの非独自の部分を再び開くことを望んでいます！

OpenPipe

オープンソースの微調整およびモデルホスティングプラットフォーム。

デモ - ローカルで実行 - ドキュメント

強力だが高価なLLMを使用して、正確なニーズに合った小さくて安価なモデルを微調整します。過去のリクエストを照会し、互いにモデルを評価します。 OpenAIと微調整されたモデルを1行のコードで切り替えます。

特徴

• PythonとTypescriptの両方でOpenaiのSDKとの簡単な統合。
  • Python SDK
  • TypeScript SDK
• OpenAI互換チャットの完了エンドポイント。
• GPT 3.5、Mistral、およびLlama 2モデルを微調整します。プラットフォームをホストするか、ウェイトをダウンロードします。
  • モデル出力はOpenAI互換です。
  • GPT 4から微調整されたミストラルモデルに切り替えるには、モデル名を変更する必要があります。
• 強力な内蔵フィルターを使用したクエリログ。
• OpenAI互換JSONLファイルにデータセットをインポートします。
• システムプロンプトのような重複テキストの大きなチャンクを剪定します。
• GPT-3.5-ターボなどのベースモデルと出力の精度を比較します。

サポートされているベースモデル

• Mistralai/mixtral-8x7b-instruct-v0.1
• OpenPipe/Mistral-FT-Optimized-1227
• メタラマ/llama-3-8b
• メタラマ/llama-3-70b
• GPT-3.5-TURBO-0613
• GPT-3.5-Turbo-1066
• GPT-3.5-Turbo-0125

ドキュメント

• ドキュメントを参照してください

ローカルで実行されます

1. postgreSqlをインストールします。
2. NodeJS 20をインストールします（以前のバージョンは非常に可能性が非常に高いですが、テストされていません）。
3. pnpm ： npm i -g pnpmをインストールします
4. このリポジトリをクローンする： git clone https://github.com/openpipe/openpipe
5. 依存関係のインストール： cd openpipe && pnpm install
6. .envファイル（ cd app && cp .env.example .env ）を作成し、 OPENAI_API_KEYを入力します。
7. Postgresをインストールし、デフォルトのDATABASE_URLを使用したい場合は、次のコマンドを実行します。

psql postgres
CREATE ROLE postgres WITH LOGIN PASSWORD ' postgres ' ;
ALTER ROLE postgres SUPERUSER ;

8. 必要に応じてDATABASE_URLを更新して、Postgresインスタンスを指し、 pnpm prisma migrate dev appディレクトリで実行してデータベースを作成します。
9. github oauthアプリを作成し、コールバックURL <your local instance>/api/auth/callback/github http://localhost:3000/api/auth/callback/github githubに設定します。
10. GITHUB_CLIENT_IDとGITHUB_CLIENT_SECRET値をGithub oauthアプリから更新します（注：ローカルで実行するときにオプションにするPRは非常に貢献します！）。
11. アプリを起動するにはappディレクトリでpnpm devを実行します。
12. http：// localhost：3000に移動します

ローカルで使用します

import os
from openpipe import OpenAI

client = OpenAI(
    api_key= " Your API Key " ,
    openpipe={
        " api_key " : " Your OpenPipe API Key " ,
        " base_url " : " http://localhost:3000/api/v1 " , # Local OpenPipe instance
    }
)

completion = client.chat.completions.create(
    model= " gpt-3.5-turbo " ,
    messages=[{ " role " : " system " , " content " : " count to 10 " }],
    openpipe={
        " tags " : { " prompt_id " : " counting " },
        " log_request " : True
    },
)

ローカルでテスト

1. .envファイルを.env.testにコピーします。
2. DATABASE_URLを更新して、開発のデータベース名とは異なるデータベース名を持っています
3. DATABASE_URL=[your new datatase url] pnpm prisma migrate dev --skip-seed --skip-generate
4. pnpm testを実行します