A equipe de pesquisa de IA da Apple lançou um novo modelo de estimativa de profundidade, Depth Pro, que alcançou avanços significativos em velocidade e precisão. Este modelo pode gerar um mapa de profundidade 3D de alta resolução a partir de uma única imagem 2D em 0,3 segundos, sem quaisquer metadados de câmera, e pode capturar detalhes finos, como cabelos e vegetação, trazendo inovação para campos como realidade aumentada e direção autônoma. O editor de Downcodes explicará em detalhes as poderosas funções do Depth Pro e os princípios técnicos por trás dele.
Recentemente, a equipe de pesquisa de IA da Apple lançou um novo modelo chamado Depth Pro, que é um grande avanço no campo da estimativa de profundidade. Este modelo pode gerar rapidamente mapas de profundidade 3D de alta resolução a partir de uma única imagem 2D e, surpreendentemente, não o faz! requerem quaisquer metadados de câmera, o que é raro em tecnologias anteriores.
O Depth Pro funciona muito rápido, gerando mapas de profundidade em apenas 0,3 segundos . O modelo pode criar mapas de 2,25 MP com excelente clareza, capturando até mesmo pequenos detalhes como cabelos e vegetação que outros métodos muitas vezes perdem. Isso significa que você pode obter cenas 3D detalhadas em tempo real, o que é uma vantagem para muitos setores.
Por exemplo, em aplicações de realidade aumentada (AR), os objetos virtuais podem ser integrados com mais precisão ao ambiente real para melhorar a experiência do usuário. Na tecnologia de condução autônoma, os veículos também podem perceber o ambiente circundante com mais precisão e melhorar a segurança ao dirigir.
Por trás dessa tecnologia está uma arquitetura eficiente de transformador visual multiescala. Os pesquisadores disseram que essa arquitetura pode processar as informações gerais e os detalhes da imagem ao mesmo tempo, tornando o Depth Pro significativamente melhorado em precisão e velocidade. Comparado com outros modelos, o Depth Pro tem um desempenho particularmente bom na captura de detalhes finos, renderizando claramente pelos de animais e texturas de plantas, trazendo excelentes efeitos visuais.
O que vale mais a pena mencionar é que o Depth Pro pode fornecer estimativas de “profundidade absoluta”, o que significa que ele não apenas informa as posições relativas dos objetos, mas também as distâncias reais.
Isto é importante para muitos cenários de aplicação, especialmente em experiências de realidade virtual que exigem alta precisão. Além disso, o Depth Pro adota uma abordagem de "aprendizado zero-shot", o que significa que ele pode fazer previsões de profundidade precisas sem um conjunto de dados específico. Isso é extremamente adaptável, permitindo que seja amplamente utilizado em uma variedade de aplicações de imagem.
Para permitir que mais pessoas experimentem o encanto desta tecnologia, a Apple decidiu abrir o código do Depth Pro. A equipe de pesquisa lançou códigos relevantes e pesos de modelos pré-treinados no GitHub para incentivar desenvolvedores e pesquisadores a explorar e inovar. Isto irá, sem dúvida, promover a rápida aplicação e desenvolvimento do Depth Pro em vários campos, como robótica e cuidados médicos.
Com o lançamento do Pro, a Apple demonstrou mais uma vez a sua força em inovação tecnológica na área de IA. Este novo modelo não só melhora a capacidade das máquinas de perceber o seu ambiente, como também deverá desencadear mudanças em vários setores.
Entrada do projeto: https://github.com/apple/ml-profundidade-pro
Destaque:
** Estimativa de profundidade eficiente **: O Depth Pro pode gerar mapas de profundidade 3D de alta resolução em 0,3 segundos, o que é extremamente rápido.
**Capacidade de profundidade absoluta**: Ele pode não apenas fornecer a posição relativa, mas também fornecer com precisão a distância real, adequada para uma variedade de cenários de aplicação.
** Compartilhamento de código aberto **: A Apple torna o Depth Pro de código aberto para incentivar os desenvolvedores a explorar seu potencial de aplicação em diferentes campos.
O código aberto do Depth Pro promoverá enormemente o desenvolvimento da tecnologia de estimativa de profundidade e deverá trazer avanços em campos como AR e direção autônoma. Esperamos que mais desenvolvedores desenvolvam aplicativos inovadores baseados no Depth Pro. O editor de Downcodes continuará atento ao posterior desenvolvimento deste modelo.