bocoel

☂️Bocoel

貝葉斯優化作為評估大語言模型的覆蓋工具

？為什麼要Bocoel？

大型語言模型是昂貴且龐然大物的，並且在巨大的現代數據集上對其進行評估只會使情況變得更糟。

如果只有一種方法可以選擇一個有意義的（且小）的子集並獲得高度準確的評估.....

等等，聽起來像貝葉斯優化！

Bocoel在以下步驟中工作：

1. 編碼單個進入嵌入式的輸入（比LLM便宜 /更便宜，並且可重複使用）。
2. 使用貝葉斯優化選擇查詢以進行評估。
3. 使用查詢從我們的語料庫中檢索（帶編碼的嵌入）。
4. 利潤。

所產生的評估很容易由提供的經理實用程序管理。

據我們所知，這是旨在通過（可能是動態的）預算在評估（基準測試）期間降低計算成本的第一項工作。

特徵

• 精確評估只有幾十個樣本中的大型語言模型。
• ？ ‍♂️利用貝葉斯優化的力量選擇了用於評估語言模型的最佳樣本子集。
• ？除了評估語料庫的模型外，還評估模型的語料庫。
• ？通過與HuggingFace Transformers和DataSet集成，支持GPT2 ， Pythia ， LLAMA等
• ？模塊化設計。
• ？語料庫 /數據集的有效表示，例如N-Sphere表示或潛在空間的美白，以增強評估質量。

給我們一個明星！

喜歡你看到的？請考慮給這個星星（★）！

♾️貝葉斯優化

簡而言之，貝葉斯優化旨在優化勘探目標（圖像中的紫色區域）或剝削對象（黑點的高度）。它使用高斯進程作為推理的骨幹，並使用採集功能來決定接下來在哪裡採樣。請參閱此處，以獲取更深入的介紹。

由於貝葉斯優化與昂貴評估的黑盒型號（釋義：LLM）非常有效，因此非常適合這種特殊用例。 Bocoel使用貝葉斯優化作為骨幹，用於探索我們的語料庫給出的嵌入空間，這使其可以選擇一個充當語料庫迷你快照的好子集。

？ 績效含義

LLM痛苦慢，尤其是生成型（通常稱為LLM），因為序列產生本質上是順序的。

儘管bocoel要求使用嵌入器編碼整個語料庫，但通過數量級，嵌入式比LLM的速度快，並且通過評估LLM的任何節省的時間來恢復時間。

安裝

我不想可選依賴性：

 pip install bocoel

給我完整的經驗（所有可選依賴性）：

 pip install "bocoel[all]"

？用法

請參閱文件夾示例/get_started，以簡化庫的用法，以使用幾行代碼開始。

✍️與Bocoel一起發展

用法示例在文件夾examples下。 API參考可以在此處找到。

？貢獻

貢獻者想要！不要害羞。隨時提交問題和PR。對於PR，請遵循有關貢獻和行為準則的指南。開放性和包容性非常重視。

？ 路線圖：正在進行中

• ？更簡單的用法。我應該為整個庫ST評估提供高級包裝器，可以一行運行。
• 評估的可視化模塊。
• ？與高斯過程的替代方法（隨機，kmedoids ...）的整合。
• ？與更多的後端集成，例如VLLM和OpenAI的API。
• ？支持Python 3.12+

？許可證和引文

該代碼可根據BSD-3許可獲得。

如果您發現此項目有助於您的研究，請在

 @misc{bocoel2024,
    title = {BoCoEL: Bayesian Optimization as a Coverage Tool for Evaluating Large Language Models},
    url = {https://bocoel.rentruewang.com/research/},
    author = {Wang, RenChu},
    month = {January},
    year = {2024}
}