В области искусственного интеллекта (ИИ), хотя крупные языковые модели (LLMS) хорошо работают в обработке естественного языка, они часто кажутся недобросовестными, когда сталкиваются с сложными задачами вывода. Эти задачи часто включают многоэтапные рассуждения, специфичные для домена знания или эффективную интеграцию внешних инструментов. Чтобы преодолеть эти ограничения, исследователи изучают, как расширить возможности LLM за счет использования внешних инструментов.
Традиционные методы улучшения часто требуют точной настройки или дополнительной подготовки модели, что приводит к ее ограничениям в адаптивности и гибкости задачи. Существующие рамки имеют тенденцию полагаться на статические, предопределенные наборы инструментов, отсутствие эффективного выбора инструментов и механизмов планирования, которые могут легко вызвать ошибки при выполнении задач, увеличения затрат на вычислительные средства и недостаточно применены к новым полям.
Чтобы решить эту проблему, исследовательская группа в Стэнфордском университете запустила Octotools, новую структуру, предназначенную для расширения возможностей с выводами с помощью динамических, структурированных внешних инструментов. Octotools-это модульная, без тренировочная и масштабируемая структура, которая стандартизирует, как модели искусственного интеллекта взаимодействуют с внешними инструментами. В отличие от предыдущих фреймворков, которые требовали предопределенных конфигураций инструментов, Octotools представили «инструментальные карты», которые инкапсулируют функции и метаданные инструмента, что позволяет моделям ИИ более эффективно интегрировать и использовать инструменты.
Процесс работы Octotools делится на три этапа ключевых: планирование, выполнение и проверка. Во -первых, планировщик анализирует пользовательские вопросы и определяет необходимые инструменты на основе метаданных на карте инструментов. Затем исполнитель преобразует решения высокого уровня в исполняемые команды и запускает их последовательно, чтобы убедиться, что промежуточные результаты обрабатываются правильно. Наконец, валидатор оценивает согласованность вывода, гарантируя, что он соответствует исходному запросу, тем самым уменьшая ошибки.
Исследовательская группа провела обширные оценки Octotools в нескольких областях, включая зрение, математические рассуждения, научный анализ и медицинское применение. Результаты показывают, что Octotools значительно лучше, чем существующая структура ИИ в производительности, особенно в задачах математических рассуждений, с повышением точности на 22,5%. В медицинских приложениях Octotools достигла повышения точности на 20,7%, демонстрируя ее эффективность в реальной диагностике A-A-Advisted.
Octotools не требует дополнительного обучения, значительно повышая точность вывода ИИ, со средним увеличением на 9,3%. Структура поддерживает до 16 задач вывода, включая визуальный анализ, математические операции, медицинские мышления и т. Д.
GitHub: https://github.com/octotools/octotools