Недавно опубликованный исследовательский отчет Университета Карнеги-Меллона (CMU) провел углубленный сравнительный анализ Google Gemini Pro и OpenAI GPT-3.5. Исследование охватывает несколько областей, таких как ответы на вопросы знаний и общие рассуждения, а также оценивает разницу в производительности между двумя моделями посредством многозадачного тестирования. Результаты отчета показывают, что, хотя Gemini Pro как мультимодальная модель имеет преимущества в некоторых аспектах, GPT-3.5 по-прежнему показывает более высокие результаты в большинстве тестов, особенно в вопросах и ответах на знания и общих рассуждениях.
Webmaster Home сообщил, что исследования CMU показывают, что между Gemini Pro и GPT-3.5 большой разницы нет, но в многозадачных тестах ее немного недостаточно. Исследования охватывают многие области, и GPT-3.5 лидирует в вопросах ответов на вопросы и общих рассуждениях. Хотя Gemini Pro является мультимодальной моделью, GPT-3.5 демонстрирует отличную производительность в большинстве тестов.
В целом, это исследование CMU дает нам ценную информацию для глубокого понимания различий в производительности между Gemini Pro и GPT-3.5, а также дает новое вдохновение для будущего направления разработки больших языковых моделей. Хотя Gemini Pro предпринял некоторые попытки мультимодальности, GPT-3.5 по-прежнему имеет очевидные преимущества в основных возможностях. Последующие исследования могут быть сосредоточены на том, как лучше сочетать мультимодальные возможности с мощными способностями рассуждения.