Snap a annoncé à l'AWE son modèle révolutionnaire de diffusion d'images en temps réel sur l'appareil qui génère des expériences de réalité augmentée saisissantes en temps réel sur les smartphones, et a lancé Lens Studio 5.0, un nouvel outil d'IA générative pour les créateurs de réalité augmentée. Cette décision marque une nouvelle étape passionnante dans le développement de la technologie AR, qui changera considérablement la façon dont le contenu AR est créé et offrira aux utilisateurs une expérience AR plus riche et plus immersive. Cette innovation de Snap améliore non seulement l'efficacité de la génération de contenu AR, mais abaisse également le seuil de création, ouvrant ainsi la porte au monde AR à davantage de créateurs.
À l'Augmented World Expo, Snap a présenté une première version d'un modèle de diffusion d'images en temps réel sur l'appareil, capable de générer des expériences de réalité augmentée (RA) éclatantes. La société a également lancé des outils d’IA générative conçus pour les créateurs de réalité augmentée.
Le modèle est suffisamment petit pour fonctionner sur un smartphone et suffisamment rapide pour restituer les images en temps réel en fonction d'invites textuelles, a déclaré Bobby Murphy, co-fondateur et directeur de la technologie de Snap, lors de l'événement. Il a noté que même si l'émergence de modèles de diffusion d'images génératifs d'IA est passionnante, ces modèles doivent être beaucoup plus rapides pour avoir un impact significatif sur la réalité augmentée. L'équipe de Snap a donc travaillé sur l'accélération des modèles d'apprentissage automatique.
Il est rapporté que les utilisateurs de Snapchat commenceront à voir des effets de lentille basés sur ce modèle génératif dans les prochains mois, et Snap prévoit d'en faire la promotion auprès des créateurs avant la fin de l'année. « Ce modèle d'apprentissage automatique génératif en temps réel sur l'appareil, ainsi que les futurs modèles, marquent une nouvelle direction passionnante pour la réalité augmentée, nous obligeant à repenser la façon dont nous rendons et créons des expériences de réalité augmentée », a déclaré Bobby Murphy.
En outre, Murphy a également annoncé le lancement de Lens Studio 5.0, qui fournit aux développeurs de nouveaux outils d'IA générative pour les aider à créer des effets AR plus rapidement que jamais, leur permettant ainsi de gagner des semaines, voire des mois. Les créateurs de réalité augmentée peuvent utiliser de nouveaux outils pour générer rapidement des séquences de selfie en générant des effets faciaux hautement réalistes appris par machine, et peuvent également générer des effets de style personnalisés en temps réel qui couvrent le visage, le corps et l'environnement de l'utilisateur. Ils peuvent également générer des séquences 3D en quelques minutes et les appliquer à leurs prises de vue.
De plus, les créateurs de réalité augmentée peuvent exploiter la technologie de maillage facial de l'entreprise pour générer des extraterrestres, des sorciers et d'autres personnages via des invites de texte ou d'image, et peuvent également générer des masques, des textures et des matériaux en quelques minutes. La dernière version de Lens Studio comprend également un assistant IA qui peut répondre aux questions que les créateurs AR peuvent se poser. Snap s'attend à ce que ces nouveaux outils changent radicalement la façon dont la création AR est créée, permettant aux créateurs de concrétiser leurs idées créatives plus rapidement.
Le modèle de diffusion d'images en temps réel côté appareil et Lens Studio 5.0 publiés cette fois par Snap annoncent le développement vigoureux de la technologie AR, qui offrira aux utilisateurs des expériences de réalité augmentée plus colorées à l'avenir et poussera l'industrie AR vers de nouveaux sommets. Je pense que dans un avenir proche, nous verrons davantage d’applications innovantes basées sur cette technologie.