L'équipe de recherche en IA d'Apple a lancé un nouveau modèle d'estimation de profondeur, Depth Pro, qui a réalisé des avancées significatives en termes de vitesse et de précision. Ce modèle peut générer une carte de profondeur 3D haute résolution à partir d'une seule image 2D en 0,3 seconde sans aucune métadonnée de caméra, et peut capturer des détails fins tels que les cheveux et la végétation, apportant ainsi l'innovation dans des domaines tels que la réalité augmentée et la conduite autonome. L'éditeur de Downcodes expliquera en détail les fonctions puissantes de Depth Pro et les principes techniques qui le sous-tendent.
Récemment, l'équipe de recherche en IA d'Apple a publié un nouveau modèle appelé Depth Pro, qui constitue une avancée majeure dans le domaine de l'estimation de la profondeur. Ce modèle peut générer rapidement des cartes de profondeur 3D haute résolution à partir d'une seule image 2D, et étonnamment, ce n'est pas le cas ! nécessitent des métadonnées de caméra, ce qui est rare dans les technologies précédentes.
Depth Pro fonctionne très rapidement, générant des cartes de profondeur en seulement 0,3 seconde . Le modèle peut créer des cartes de 2,25 MP avec une excellente clarté, capturant même les plus petits détails comme les cheveux et la végétation que les autres méthodes manquent souvent. Cela signifie que vous pouvez obtenir des scènes 3D détaillées en temps réel, ce qui constitue une aubaine pour de nombreuses industries.
Par exemple, dans les applications de réalité augmentée (RA), les objets virtuels peuvent être intégrés plus précisément à l’environnement réel pour améliorer l’expérience utilisateur. Grâce à la technologie de conduite autonome, les véhicules peuvent également percevoir plus précisément l’environnement et améliorer la sécurité de conduite.
Derrière cette technologie se cache une architecture de transformateur visuel multi-échelle efficace. Les chercheurs ont déclaré que cette architecture peut traiter simultanément les informations globales et les détails de l’image, ce qui améliore considérablement la précision et la vitesse de Depth Pro. Comparé à d'autres modèles, Depth Pro réussit particulièrement bien à capturer des détails fins, à restituer clairement les textures de poils d'animaux et de plantes, apportant d'excellents effets visuels.
Ce qui mérite d'être mentionné, c'est que Depth Pro peut fournir des estimations de « profondeur absolue », ce qui signifie qu'il vous indique non seulement les positions relatives des objets, mais également les distances réelles.
Ceci est important pour de nombreux scénarios d’application, notamment dans les expériences de réalité virtuelle qui nécessitent une grande précision. De plus, Depth Pro adopte une approche « d'apprentissage zéro », ce qui signifie qu'il peut faire des prédictions de profondeur précises sans ensemble de données spécifique. Ceci est extrêmement adaptable, ce qui lui permet d'être largement utilisé dans une variété d'applications d'images.
Afin de permettre à davantage de personnes de découvrir le charme de cette technologie, Apple a décidé d'ouvrir Depth Pro en open source. L'équipe de recherche a publié le code pertinent et les poids des modèles pré-entraînés sur GitHub pour encourager les développeurs et les chercheurs à explorer et à innover. Cela favorisera sans aucun doute l’application et le développement rapides de Depth Pro dans de multiples domaines tels que la robotique et les soins médicaux.
Avec le lancement de Pro, Apple démontre une fois de plus sa force d'innovation technologique dans le domaine de l'IA. Ce nouveau modèle améliore non seulement la capacité des machines à percevoir leur environnement, mais il devrait également susciter des changements dans de nombreux secteurs.
Entrée du projet : https://github.com/apple/ml-degree-pro
Souligner:
** Estimation efficace de la profondeur ** : Depth Pro peut générer des cartes de profondeur 3D haute résolution en 0,3 seconde, ce qui est extrêmement rapide.
**Capacité de profondeur absolue** : il peut non seulement fournir une position relative, mais également donner avec précision la distance réelle, adaptée à une variété de scénarios d'application.
** Partage Open Source ** : Apple rend Depth Pro open source pour encourager les développeurs à explorer son potentiel d'application dans différents domaines.
L'open source de Depth Pro favorisera grandement le développement de la technologie d'estimation de la profondeur et devrait apporter des percées dans des domaines tels que la réalité augmentée et la conduite autonome. Nous attendons avec impatience que davantage de développeurs développent des applications innovantes basées sur Depth Pro. L'éditeur de Downcodes continuera à prêter attention au développement ultérieur de ce modèle.