promptolution

プロンプトル

PROMPTOLUTIONは、迅速なチューニング実験を実装するためのモジュール式および拡張可能なフレームワークを提供するライブラリです。さまざまな迅速な最適化タスクのコアコンポーネントを組み立てるためのユーザーフレンドリーなインターフェイスを提供します。

さらに、このリポジトリには、「費用対効果の高い迅速な調整に向けて、モデルサイズ、モデルファミリ、およびエボプロームにおけるタスクの説明の影響を評価する」という論文の実験が含まれています。

このプロジェクトは、TimoHeiß、Moritz Schlager、Tom Zehleによって開発されました。

インストール

PIPを使用してライブラリをインストールします。

 pip install promptolution

または、リポジトリをクローンで実行します

 poetry install

必要な依存関係をインストールします。最初にPIPXと詩をインストールする必要があるかもしれません。

ドキュメント

API参照を使用した包括的なドキュメントは、https：//finitearth.github.io/promptolution/で利用可能です。

使用法

使用するモデルのAPIキーを作成します。

• Openai：トークンをopenaitoken.txtに保存します
• 人類：anthropictoken.txtにトークンを保存します
• deepinfra（llamaの場合）：deepinfratoken.txtにトークンを保存します

最適化アルゴリズムから選択します

名前	＃init人口	探索	費用	収束速度	並列化可能	故障ケースを利用します
evoprompt de	8-12	？	？	⚡⚡	✅
Evoprompt GA	8-12	？	？	⚡⚡	✅
opro	0	？	??	⚡

コアコンポーネント

• タスク：初期プロンプト、データセット機能、ターゲット、および評価方法をカプセル化します。
• 予測子：予測ロジックを実装し、タスクとLLMコンポーネントの間にインターフェースします。
• LLM：APIを介してローカルでホストされている、またはアクセスされるかどうかにかかわらず、言語モデルから応答を取得するプロセスを統合します。
• Optimizer：最適化プロセス中に他のコンポーネントを利用して、迅速な最適化アルゴリズムを実装します。
• 模範的なセレクター：プロンプトに追加されたいくつかのショット例を検索するためのアルゴリズムを実装します。

重要な機能

• モジュール式およびオブジェクト指向のデザイン
• 拡張可能なアーキテクチャ
• 実験を組み立てるための使いやすいインターフェイス
• 並列化されたLLMリクエストは、効率を向上させました
• 標準化されたLLM API呼び出しのためのLangchainとの統合
• 最適化分析用の詳細なロギングおよびコールバックシステム

はじめる

Getting Wart Notebook：gets_started.pyをご覧ください

実験を再現します

すべての実験用のスクリプトと構成を提供します。構成に基づいて実験を実行します。

 poetry run python scripts/experiment_runs.py --experiment "configs/<my_experiment>.ini"

ここで、 <my_experiment>.iniはテンプレートに基づいた構成です。

このプロジェクトは、LMUミュンヘンでのセミナー「大規模な訓練を受けたモデルの時代の自動車」のために開発されました。