recognize

Распознавать: Smart Media Tagring для NextCloud

Это приложение проходит вашу коллекцию мультимедиа и добавляет фитинговые теги, автоматически классифицируя ваши фотографии и музыку.

• ? ? Распознает лица из контактных фотографий
• ? ? Распознает животных, ландшафты, еду, транспортные средства, здания и другие предметы
• ? ? Признает достопримечательности и памятники
• ? ? Распознает музыкальные жанры
• ? ? Распознает человеческие действия на видео

⚡ Taging работает через совместные теги NextCloud

• ? Слушайте свою музыку с Tagged с приложением Audioplayer
• ? Просмотреть свои смельку и видео с приложением Photos Photos

Размеры модели:

• Распознавание объекта: 1 ГБ
• Знаковое признание: 300 МБ
• Признание видео: 50 МБ
• Распознавание музыкального жанра: 50 МБ

Этическое рейтинг ИИ

Рейтинг для обнаружения объекта:?

Положительный:

• Программное обеспечение для обучения и вывода этой модели является открытым исходным кодом
• Обученная модель свободно доступна и, таким образом, может быть запущена локально
• Данные обучения свободно доступны, что позволяет проверять или исправлять предвзятость или оптимизировать производительность и использование CO2.

Рейтинг по распознаванию лица:

Положительный:

• Программное обеспечение для обучения и вывода этой модели является открытым исходным кодом
• Обученная модель свободно доступна и, таким образом, может быть запущена локально
• Данные обучения свободно доступны, что позволяет проверять или исправлять предвзятость или оптимизировать производительность и использование CO2.

Рейтинг для распознавания видео:?

Положительный:

• Программное обеспечение для обучения и вывода этой модели является открытым исходным кодом
• Обученная модель свободно доступна и, таким образом, может быть запускается локально
• Данные обучения свободно доступны, что позволяет проверять или исправлять предвзятость или оптимизировать производительность и использование CO2.

Рейтинг музыкальный жанр распознавание:?

Положительный:

• Программное обеспечение для обучения и вывода этой модели является открытым исходным кодом
• Обученная модель свободно доступна и, таким образом, может быть запущена локально

Негатив:

• Данные обучения недоступны, ограничивая способность внешних сторон проверять и исправлять смещение или оптимизировать производительность модели и использование CO2.

Узнайте больше о рейтинге ETACLE AI NextCloud в нашем блоге.

Примеры

(Экриншот по @_digitalwriter_)

Конфиденциальность

Это приложение не отправляет никаких конфиденциальных данных в облачные провайдеры или аналогичные службы. Вся обработка изображений выполняется на вашей машине NextCloud, используя TensorFlow.js, работающий в node.js, который поставляется с этим приложением.

Шифрование

Обратите внимание, что сквозные зашифрованные файлы невозможно обработать путем распознавания, поскольку сервер по проектированию не может их прочитать.

Категории

Это список признанных вещей, и какие категории они в настоящее время сопоставлены. Я рад принять запросы на привлечение этого файла для предсказаний Fine Tune.

За кулисами

Распознавать использование

• Предварительно обученная модель EffactNet V2 для обнаружения объектов ImageNet.
• Предварительно обученная модель, обученная набору данных V1 для достопримечательностей для распознавания достопримечательностей.
• face-api.js для извлечения и сравнения функций лица.
• Архитектура нейронной сети Musicnn для классификации аудиофайлов в музыкальных жанрах. Также см. Оригинальный репозиторий Musicnn.
• Предварительно обученная модель Movinet для классификации видео

Узнайте больше о том, что происходит за кулисами в этой статье в вики и в этом сообщении на форуме.

Установить

Требования

• PHP 8,0 и выше
• Приложение «Совместные теги» включено
• Для родной скорости:
  • Процессор: x86 64-бит (с поддержкой инструкций AVX)
  • Система с GLIBC (обычно норм на Linux; FreeBSD, Alpine Linux и, следовательно, также NextCloud AIO не являются такими системами)
• Для субночной скорости (с помощью режима WASM)
  • Процессор: x86 64-бит, ARM64, ARMV7L (AVX не требуется)
  • Система с GLIBC или MUSL (в том числе Alpine Linux и, следовательно, также NextCloud AIO)
• ~ 4 ГБ бесплатной оперативной памяти (если вы разрезаете ее близко, убедитесь, что у вас есть обмен)

TMP

Это приложение временно хранит файлы для распознавания в /TMP. Если вы используете Docker, вы можете обнаружить, что добавление дополнительного громкости для /TMP ускоряет вещи и облегчает бремя на вашем диске:

️ ️ ️ Убедитесь, что ваша оперативная память достаточно большая для хранения больших файлов. В противном случае публичная загрузка потерпит неудачу.

docker run : Add --mount type=tmpfs,destination=/tmp:exec в командную строку.

docker compose : добавьте следующее в раздел объема docker-compose.yml :

  app :
    image : nextcloud:26
    ...
    volumes :
      - type : tmpfs
        target : /tmp:exec
      ...
    ...

Один щелчок

Перейдите в «Приложения» в вашем следующем Cloud, найдите «распознавание» и нажмите «Установить».

Помощь: если установка одного щелчка не сбои

Конфигурация

Любая конфигурация выполняется в настройках/распознавании вашего экземпляра NextCloud.

Игнорирование каталогов

Если вы хотите, чтобы Path/to/your/folder/* был исключен из распознавания изображений, добавьте path/to/your/folder/.noimage . Если вы хотите исключить его из распознавания жанра музыки, добавьте path/to/your/folder/.nomusic . Если вы хотите исключить его из распознавания видео, добавьте path/to/your/folder/.novideo . Если вы хотите исключить его из всех распознавания, добавьте path/to/your/folder/.nomedia .

Ручная установка

Зависимости

• делать
• git
• Node.js v16.x и npm
• PHP 8,0 или позже
• композитор

Настраивать

 cd /path/to/nextcloud/apps/
git clone https://github.com/marcelklehr/recognize.git
cd recognize
make

Содействия

• Марсель Клер

Состояние технического обслуживания

Хотя есть некоторые вещи, которые можно сделать для дальнейшего улучшения этого приложения, приложение в настоящее время поддерживается с ограниченными усилиями . Это означает:

• Основная функциональность работает для большинства вариантов использования
• Мы гарантируем, что приложение будет продолжать работать таким образом для будущих выпусков, и мы будем исправлять ошибки, которые мы классифицируем как «критические»
• Мы не будем инвестировать дальнейшие ресурсы развития в продвижение приложения с новыми функциями
• Мы делаем обзор и с энтузиазмом приветствуем PR сообщества

Мы были бы более чем взволнованы, если бы вы хотели сотрудничать с нами. Мы будем объединять запросы на привлечение новых функций и исправлений. Мы также хотели бы приветствовать совместных участников.

Если вы являетесь клиентом NextCloud и имеете сильное деловое обоснование для любого развития этого приложения, мы рассмотрим ваши желания для нашей дорожной карты. Пожалуйста, свяжитесь с вашим менеджером счета, чтобы поговорить о возможностях.

Способствовать

Мы всегда приветствуем вклад. Есть проблема или идея для функции? Дайте нам знать. Кроме того, мы с радостью принимаем запросы на привлечение.

Чтобы процесс работал более плавно, вы можете убедиться в следующих вещах:

• Объявите, что вы работаете над функцией/ошибкой в ​​соответствующей проблеме
• Убедитесь, что тесты проходят
• Если у вас есть какие -либо вопросы, вы можете сообщить, что сопровождающие узнают в частном порядке по электронной почте или просто открыть проблему на GitHub

Пожалуйста, прочитайте кодекс поведения. Этот документ предлагает некоторые рекомендации, чтобы гарантировать, что участники следующих Cloud могут эффективно сотрудничать в позитивной и вдохновляющей атмосфере и объяснить, как вместе мы можем укрепить и поддерживать друг друга.

Более подробную информацию о том, как внести свой вклад: https://nextcloud.com/contribute/

Счастливого взлома ❤

Лицензия

Это программное обеспечение лицензировано в соответствии с условиями AGPL, написанного Фондом Free Software и доступным при копировании.

Сознание Logo Smart Tag от Xinh Studio из The Sounal Project лицензируется по лицензии Creative Commons Attribution.