Команда исследователей из Университета Суррея и Стэнфордского университета в Великобритании добилась прорыва в области искусственного интеллекта: они разработали новый метод, который позволяет искусственному интеллекту понимать эскизы линий, нарисованные людьми, даже если эти эскизы были сделанные неспециалистами. Этот результат исследования позволяет искусственному интеллекту достигать точности, близкой к человеческому уровню, при определении эскизов сцен, закладывая основу для более эффективного взаимодействия человека с компьютером и более эффективных рабочих процессов проектирования. Этот технологический прорыв отражается не только в распознавании объектов на эскизе, но, что более важно, в способности понимать значение каждого штриха на эскизе, что дает искусственным интеллекту новые идеи для понимания визуального выражения человека.
Команда исследователей из Университета Суррея и Стэнфордского университета в Великобритании разработала новый метод, позволяющий научить искусственный интеллект (ИИ) понимать эскизы, нарисованные человеческими линиями, даже если они нарисованы не художниками. Модель достигает производительности, близкой к человеческому уровню, при распознавании эскизов сцен.
Доктор Юлия Грядицкая, преподаватель Центра зрения, речи и обработки сигналов Университета Суррея (CVSSP) и Народного центрального института искусственного интеллекта Суррея (PAI), сказала: «Скетчинг — это мощный язык визуальной коммуникации. Иногда он даже более мощный, чем другие. разговорный язык. Выразительный и гибкий. Разработка инструментов для понимания эскизов — это шаг к более эффективному взаимодействию человека с компьютером и более эффективным рабочим процессам». Независимо от возраста и происхождения, люди используют рисование для поиска новых идей и общения. Однако у систем искусственного интеллекта всегда были проблемы с пониманием эскизов. ИИ должен научиться понимать изображения. Обычно для этого требуется трудоемкий и трудоемкий процесс сбора меток для каждого пикселя изображения. Затем ИИ учится на этих метках.
Однако исследовательская группа обучала ИИ с помощью комбинации эскизов и письменных описаний. Он научился группировать пиксели, сопоставляя их с категориями в описании. В результате ИИ демонстрирует более глубокое и глубокое человеческое понимание, чем когда-либо прежде. Он смог правильно идентифицировать и пометить воздушных змеев, деревья, жирафов и другие объекты с точностью 85%, превосходя другие модели, использующие тегированные пиксели. Помимо идентификации объектов в сложных сценах, он также может определять, для изображения какого объекта используется каждый штрих. Этот новый метод работает не только для неформальных зарисовок, сделанных нехудожниками, но и для зарисовок, сделанных людьми без явной подготовки.
Джудит Фан, доцент кафедры психологии Стэнфордского университета, сказала: «Рисование и письмо являются одними из наиболее типичных видов деятельности человека и уже давно используются для фиксации наблюдений и мыслей людей. Эта работа является важным шагом вперед в способности систем ИИ понимать Характер идей, которые люди пытаются передать, был достигнут впечатляющий прогресс, независимо от того, используют ли они изображения или текст». Исследование проводилось в рамках Народного центра Института искусственного интеллекта Университета Суррея, в частности, в рамках его инициативы SketchX. SketchX использует искусственный интеллект, чтобы попытаться понять, как мы видим мир, через то, как мы рисуем.
Профессор Сун Ичжэ, содиректор Института искусственного интеллекта Народного центра и глава SketchX, сказал: «Это исследование является ярким примером того, как ИИ может улучшить базовую человеческую деятельность, такую как рисование эскизов. Понимая грубые эскизы с почти человеческая точность, эта технология имеет огромный потенциал для повышения естественного творческого потенциала людей, независимо от художественного таланта».
Адрес статьи: https://arxiv.org/abs/2312.12463
Этот результат исследования принес новые прорывы в области искусственного интеллекта в области понимания изображений и взаимодействия человека и компьютера. Ожидается, что в будущем он будет широко использоваться в дизайне, художественном творчестве и других областях, что будет способствовать дальнейшему совместному развитию человека и искусственного интеллекта. интеллект. Достижения в этой технологии также демонстрируют огромный потенциал искусственного интеллекта в понимании неструктурированной информации человека.