llm workbench

Обратитесь к https://neosheets.com (https://github.com/suhjohn/neosheets) для V2 этой идеи.

LLM Workbench

https://www.llmwb.com/

Управляемый трудоустройство для LLMS. Шаблоны тестового приглашения от разных моделей и поставщиков с наборами данных с помощью быстрых аргументов для замены заполнителей.

Проблема

Сейчас я построил три разных чат -ботов ИИ. В этом процессе мне пришлось категорически построить подмножества функций, поддерживаемых этим приложением. Я также хотел иметь платформу без кодов для тестирования подсказок для различных аргументов, чтобы увидеть, как работает подсказка.

Лично я не нахожу библиотеки Auto struct Writer, которые привлекательны-я хочу получить достаточно приличную проверку атмосфера по различным параметрам.

Я также лично не использую ни одну из библиотек абстракции и не нахожу их такими полезными. Тем не менее, казалось, что для людей, которые хотят испытать необработанную собаку.

Меня вдохновила недавняя платформа Workbench от Anpropic, казалась хорошим шагом с игровой площадки Openai.

Приложение решает эти конкретные задачи пользователя:

• Для конкретной подсказки LLM, которая принимает args: Record<string, string> в качестве его приглашенных параметров, я хочу иметь возможность проверять различные параметры модели.
• Для конкретного пропада LLM я хочу проверить различные наборы быстрых параметров, возможно, счастливого случая или случаев, которые я видел, как -то провалится.
• Для определенного набора параметров быстрых параметров я хочу проверить различные подсказок LLM, чтобы сделать проверку атмосфера на их выходах.
• (По -видимому, есть разные параметры по умолчанию, особенно для моделей с открытым исходным кодом) Я хочу проверить одну и ту же модель подсказки + для разных поставщиков, чтобы понять свое поведение
• Я хочу просмотреть историю нескольких прогонов для определенного набора параметров, который я предоставил.

Функции

1. Создайте «Шаблоны»: сообщения / RAW подсказки, которые используют {{ }} для обозначения переменных с использованием mustache.js.
2. Создайте «наборы данных»: создайте список переменных, на которые вы хотите проверить шаблоны.
3. Поддержите все параметры: иметь возможность ввести все параметры, доступные для различных API, а также в пользовательском интерфейсе. Я обнаружил, что многие полупрофессиональные игровые инструменты не поддерживают параметры, такие как инструменты или logit_bias. Проект построен, чтобы иметь возможность легко расширять новые параметры, когда они добавляются поставщиками.
4. Поддержите всех значимых поставщиков в экосистеме:

• Openai
• Антроп
• Близнецы
• Вместе
• AWS BEDROCK
• Лазур
• AnyScale
• Гриб
• OpenRouter
• Пользовательские API

Тодо

1. Ручной вклад быстрых аргументов как JSON
2. Импорт CSV
3. Подсказки управления версиями и наборы данных
4. Пользовательские поставщики и пользовательские модели
5. Многомодальный вход + параметры
6. Переключить видимые столбцы + показать скомпилированные входы
7. Подсказки по умолчанию + общие данные

Безопасность

Шаблоны / наборы данных / клавиши API, которые вы добавляете на веб -сайте, хранятся только локально в вашем браузере.

Бег на местном уровне

LLM Workbench на данный момент - это просто приложение Next.js. Предполагая, что у вас есть пряжа, вы можете бежать со следующим:

 yarn
yarn dev