Куньлунь Ванвэй сотрудничал с Наньянским технологическим университетом в Сингапуре и успешно разработал алгоритм под названием Q*, который может значительно улучшить возможности рассуждения существующих больших моделей. Этот прорывной прогресс позволяет небольшим моделям достичь или даже превзойти возможности рассуждения моделей с параметрами в десятки или даже сотни раз большими, при этом значительно снижая потребность в вычислительных ресурсах. Появление алгоритма Q* открыло новую главу в широком применении искусственного интеллекта, предвещая наступление новой эры эффективного интеллекта. Этот результат исследования был опубликован в статье «Q*: Улучшение многоэтапного рассуждения для LLM с помощью совещательного планирования» и содержит подробное техническое объяснение.
Исследователи слегка улучшили производительность модели с открытым исходным кодом при выполнении задач вывода, разложив траекторию вывода большой языковой модели на несколько состояний и используя алгоритм поиска A* для достижения общего планирования. Путем определения функции стоимости пути и функции накопленного вознаграждения был достигнут всесторонний учет доходности исторического состояния и будущей ожидаемой доходности, а также были достигнуты значительные улучшения точности в экспериментах, превосходящие некоторые известные модели. В настоящее время исследования Q* все еще находятся в зачаточном состоянии, но их потенциал огромен. Ожидается, что в будущем они еще больше улучшат логические возможности отечественных моделей с открытым исходным кодом и внесут больший вклад в развитие технологий искусственного интеллекта.
В частности, Q* оптимизирует процесс рассуждения, всесторонне рассматривая историческую доходность состояния и будущую ожидаемую доходность. Результаты экспериментов показывают, что Q* добился значительного улучшения производительности на нескольких наборах данных, что открывает новое направление для развития технологий искусственного интеллекта.
В настоящее время исследования Q* все еще находятся в зачаточном состоянии, и еще есть возможности для улучшения. В будущем Куньлунь Ванвэй продолжит проводить углубленные исследования, чтобы улучшить логические возможности отечественных моделей с открытым исходным кодом и предоставить больше возможностей для развития технологий искусственного интеллекта.
Бумажная ссылка:
https://arxiv.org/abs/2406.14283
Успешная разработка алгоритма Q* знаменует собой важный прогресс в области искусственного интеллекта и указывает направление будущего развития технологии искусственного интеллекта. Стоит с нетерпением ждать его применения и прорывов в других областях.