Reconnaître: Tagging Smart Media pour NextCloud
Cette application passe par votre collection de médias et ajoute des balises d'ajustement, catégorisant automatiquement vos photos et musique.
- ? ? Reconnaît les visages des photos de contact
- ? ? Reconnaît les animaux, les paysages, la nourriture, les véhicules, les bâtiments et autres objets
- ? ? Reconnaît les repères et les monuments
- ? ? Reconnaît les genres musicaux
- ? ? Reconnaît les actions humaines sur la vidéo
⚡ Le taggage fonctionne via les balises collaboratives de NextCloud
- ? Écoutez votre musique taguée avec l'application AudioPlayer
- ? Voir vos photos et vidéos taguées avec l'application Photos
Tailles du modèle:
- Reconnaissance d'objets: 1 Go
- Reconnaissance historique: 300 Mo
- Reconnaissance de l'action vidéo: 50 Mo
- Reconnaissance du genre musical: 50 Mo
Note d'IA éthique
Évaluation pour la détection d'objets photo :?
Positif:
- Le logiciel de formation et d'inférence de ce modèle est open source
- Le modèle formé est disponible librement et peut donc être exécuté sur site
- Les données de formation sont disponibles gratuitement, ce qui permet de vérifier ou de corriger le biais ou d'optimiser les performances et l'utilisation du CO2.
Note pour la reconnaissance du visage photo :?
Positif:
- Le logiciel de formation et d'inférence de ce modèle est open source
- Le modèle formé est disponible librement et peut donc être exécuté sur site
- Les données de formation sont disponibles gratuitement, ce qui permet de vérifier ou de corriger le biais ou d'optimiser les performances et l'utilisation du CO2.
Note pour la reconnaissance de l'action vidéo :?
Positif:
- Le logiciel de formation et d'inférence de ce modèle est open source
- Le modèle qualifié est disponible librement et peut donc être exécuté sur site
- Les données de formation sont disponibles gratuitement, ce qui permet de vérifier ou de corriger le biais ou d'optimiser les performances et l'utilisation du CO2.
Rating Music Genre Reconnaissance :?
Positif:
- Le logiciel de formation et d'inférence de ce modèle est open source
- Le modèle formé est disponible librement et peut donc être exécuté sur site
Négatif:
- Les données de formation ne sont pas disponibles librement, ce qui limite la capacité des parties externes à vérifier et à corriger les biais ou à optimiser les performances du modèle et l'utilisation du CO2.
En savoir plus sur la note NextCloud Ethical AI dans notre blog.
Exemples
(Capture d'écran par @_digitalwriter_)
Confidentialité
Cette application n'envoie aucune donnée sensible à des fournisseurs de cloud ou à des services similaires. Tout le traitement d'image est effectué sur votre machine NextCloud, en utilisant Tensorflow.js en cours d'exécution dans Node.js, qui est livré avec cette application.
Cryptage
Notez que les fichiers cryptés de bout en bout ne sont pas possibles à traiter par reconnaissance, car le serveur par conception ne peut pas les lire.
Catégories
Il s'agit de la liste des choses reconnues et des catégories auxquelles ils sont actuellement mappés. Je suis heureux d'accepter les demandes de traction pour ce fichier pour affiner les prédictions.
Dans les coulisses
Reconnaître les utilisations
- Un modèle V2 efficace pré-formé pour la détection d'objets ImageNet.
- Un modèle pré-formé s'est formé sur l'ensemble de données V1 pour la reconnaissance historique.
- face-api.js pour extraire et comparer les caractéristiques du visage.
- Une architecture de réseau neuronal musicnn pour classer les fichiers audio dans les genres de musique. Voir également le référentiel musical original.
- Un modèle de filmt pré-formé pour la classification vidéo
En savoir plus sur ce qui se passe dans les coulisses de cet article Wiki et de ce message de forum.
Installer
Exigences
- PHP 8,0 et plus
- L'application "balises collaboratives" activées
- Pour la vitesse native:
- Processeur: x86 64 bits (avec support pour les instructions AVX)
- Système avec GLIBC (généralement la norme sur Linux; FreeBSD, Alpine Linux et donc également NextCloud AIO ne sont pas de tels systèmes)
- Pour la vitesse sub-native (en utilisant le mode WasM)
- Processeur: x86 64-bits, ARM64, ARMV7L (aucun AVX nécessaire)
- Système avec GLIBC ou MUSL (incl. Alpine Linux et donc aussi NextCloud AIO)
- ~ 4 Go de RAM gratuit (si vous le coupez, assurez-vous d'avoir un échange disponible)
TMP
Cette application stocke temporairement des fichiers à reconnaître dans / tmp. Si vous utilisez Docker, vous pouvez constater que l'ajout d'un volume supplémentaire pour / TMP accélère les choses et facilite le fardeau de votre disque:
️ ️ ️ Assurez-vous que votre RAM est suffisamment grand pour stocker de gros fichiers. Sinon, les téléchargements publics échoueront.
docker run : Add --mount type=tmpfs,destination=/tmp:exec to Command Line.
docker compose : Ajoutez ce qui suit à la section de volume docker-compose.yml :
app :
image : nextcloud:26
...
volumes :
- type : tmpfs
target : /tmp:exec
...
... Un clic
Accédez à "Apps" dans votre NextCloud, recherchez "Reconnaître" et cliquez sur Installer.
Aide: si l'installation en un clic échoue
Configuration
Toute configuration est effectuée dans les paramètres / reconnaître votre instance NextCloud.
Ignorer les répertoires
Si vous souhaitez que le chemin / vers / votre / le dossier / * soit exclu de la reconnaissance d'image, ajoutez un path/to/your/folder/.noimage . Si vous souhaitez l'exclure de la reconnaissance du genre musical, ajoutez un path/to/your/folder/.nomusic . Si vous souhaitez l'exclure de la reconnaissance vidéo, ajoutez un path/to/your/folder/.novideo . Si vous souhaitez l'exclure de toute reconnaissance, ajoutez un path/to/your/folder/.nomedia .
Installation manuelle
Dépendances
- faire
- git
- Node.js v16.x et npm
- PHP 8.0 ou plus tard
- compositeur
Installation
cd /path/to/nextcloud/apps/
git clone https://github.com/marcelklehr/recognize.git
cd recognize
make
Maintient
État de maintenance
Bien qu'il y ait certaines choses qui pourraient être faites pour améliorer encore cette application, l'application est actuellement maintenue avec un effort limité . Cela signifie:
- La fonctionnalité principale fonctionne pour la majorité des cas d'utilisation
- Nous nous assurerons que l'application continuera de fonctionner comme celle-ci pour les futures versions et nous corrigeons les bogues que nous classons comme «critiques»
- Nous n'investirons pas d'autres ressources de développement nous-mêmes dans l'avancement de l'application avec de nouvelles fonctionnalités
- Nous examinons et nous accueillons avec enthousiasme les relations publiques communautaires
Nous serions plus que excités si vous souhaitez collaborer avec nous. Nous fusionnerons les demandes de traction pour de nouvelles fonctionnalités et correctifs. Nous aimerions également accueillir les co-mailateurs.
Si vous êtes un client de NextCloud et que vous avez une bonne analyse de rentabilisation pour tout développement de cette application, nous considérerons vos souhaits pour notre feuille de route. Veuillez contacter votre responsable de compte pour parler des possibilités.
Contribuer
Nous accueillons toujours les contributions. Vous avez un problème ou une idée pour une fonctionnalité? Faites-nous savoir. De plus, nous acceptons volontiers les demandes de traction.
Afin de faire fonctionner le processus plus bien, vous pouvez vous assurer des choses suivantes:
- Annonce que vous travaillez sur une fonctionnalité / BugFix dans le problème pertinent
- Assurez-vous que les tests passent
- Si vous avez des questions, vous pouvez informer les mainteneurs ci-dessus en privé par e-mail, ou simplement ouvrir un problème sur GitHub
Veuillez lire le code de conduite. Ce document offre quelques conseils pour garantir que les participants à NextCloud peuvent coopérer efficacement dans une atmosphère positive et inspirante, et pour expliquer comment ensemble, nous pouvons nous renforcer et nous soutenir mutuellement.
Plus d'informations sur la façon de contribuer: https://nextcloud.com/contribute/
Happy Hacking ❤️
Licence
Ce logiciel est sous licence des termes de l'AGPL écrit par la Free Software Foundation et disponible chez Copying.
La balise Smart de Reconnus Logo par Xinh Studio du projet Noun est sous licence Creative Commons Attribution.