promptimal

提示

CLI快速改善您的AI提示。無需數據集。

只需提交您的提示，並描述您想要改進的內容即可。然後，提示將使用遺傳算法對迭代提示進行改進，直到它比原始提示更好。 LLM評估了修改後的提示以指導該過程，但您也可以定義自己的評估功能。

安裝

 > pipx install promptimal

安裝後，請確保將OpenAI API密鑰添加到環境中：

 > export OPENAI_API_KEY= " ... " 

Quickstart

從您的終端打開工具：

 > promptimal

您會被要求輸入您的初始提示以及要改進的內容。另外，您可以將這些輸入指定為命令行參數：

 > promptimal 
    --prompt " You will be provided with a piece of code, and your task is to explain it in a concise way. " 
    --improve " Summaries need to include less code references and be more high-level. "

完成後，UI將在您的終端打開以監視優化過程：

高級用法

超參數

您可以通過傳遞其他命令行參數來控制優化參數：

 > promptimal --num_iters=10 --num_samples=20 --threshold=0.7

1. num_iters ：運行優化循環的迭代次數。相當於進化算法中的“世代”數量。
2. num_samples ：在每次迭代中生成的候選提示數。相當於進化算法中的“人口規模”。
3. threshold ：循環的終止閾值。如果候選提示的得分高於此閾值，則優化循環將停止。默認值為1.0。

自定義評估者

默認情況下，Pomprimal使用LLM-AS-Gudge方法（具有自一致性）來評估及時的候選人。但是為了提高性能，您可能需要根據數據集評估提示或使用其他一些評估技術。為此，首先創建一個稱為evaluator.py的python文件。然後將下面的代碼複製到該文件中，並定義您自己的評估功能：

 import argparse

def evaluator ( prompt : str ) -> float :
    # Your code goes here
    # Must return value between 0 and 1

def main ():
    parser = argparse . ArgumentParser ()
    parser . add_argument ( "--prompt" , required = True , type = str )
    args = parser . parse_args ()

    score = evaluator ( args . prompt )
    print ( score )

if __name__ == "__main__" :
    main ()

完成後，在運行Remplymal時指定evaluator.py的路徑：

 > promptimal --evaluator= " path/to/evaluator.py "

該文件將有效地用作評估提示的腳本。

路線圖

1. 支持其他LLM提供商，例如人類，Groq等，以及Ollama的本地模型。
2. 不僅要進化提示，還會進化元數據（基於提示紙紙）。
3. 預定一些突變操作員。
4. 作為評估過程的一部分，生成合成測試。