kaolin wisp

Kaolin Wisp: uma biblioteca e motor Pytorch para pesquisa de campos neurais

O Nvidia Kaolin Wisp é uma biblioteca de Pytorch alimentada pelo Nvidia Kaolin Core para trabalhar com campos neurais (incluindo NERFs, NGLOD, Instant-NGP e VQAD).

A Nvidia Kaolin Wisp visa fornecer um conjunto de funções de utilidade comuns para realizar pesquisas sobre campos neurais. Isso inclui conjuntos de dados, E/S de imagem, processamento de malha e funções de utilitário de raio. O Wisp também vem com blocos de construção, como renderizadores diferenciáveis e estruturas de dados diferenciáveis (como octrees, grades de hash, recursos triplanares) que são úteis para criar campos neurais complexos. Ele também inclui ferramentas de visualização de depuração, renderização e treinamento interativos, registro e classes de treinadores.

Verifique nosso documento para obter informações adicionais!

Para uma visão geral sobre os campos neurais, recomendamos que você consulte o relatório da EG Star: Campos neurais para computação visual e além.

As atualizações mais recentes

Wisp 1.0.3 <- main

• 17/04/23 O sistema de configuração foi substituído! Confira a página de configuração para obter instruções de uso e compatibilidade com versões anteriores ( mudança de quebra ). Observe que a biblioteca principal do Wisp permanece compatível, a rede elétrica e os treinadores devem ser atualizados.

Wisp 1.0.2 <- stable

• 15/04/23 O suporte ao notebook Jupyter foi adicionado - útil para máquinas sem exibição.
• 01/02/23 A dependência attrdict adicionada como parte da nova estrutura de dados. Se você puxar mais recente, certifique -se de pip install attrdict .
• 17/01/23 pycuda substituído por cuda-python . O Wisp pode ser instalado a partir do PIP agora (se você puxar, execute o pip install -r requisitos_app.txt )
• 01/05/23 A rede elétrica agora é introduzida como aplicativos independentes, para facilitar o suporte a novos pipelines ( mudança de quebra )

Instalação

Veja as instruções de instalação aqui.

Contribuições externas

Congratulamo -nos com e incentivamos as contribuições externas para a base de código! Para mais detalhes, leia as perguntas frequentes e a página de licença.

Licença e citação

Esta base de código está licenciada sob a licença de código fonte da NVIDIA. Licenças comerciais também estão disponíveis, gratuitamente. Aplique usando este link (use "outro" e especifique Kaolin Wisp): https://www.nvidia.com/en-us/research/inquiries/

Se você achar a biblioteca Nvidia Kaolin Wisp útil para sua pesquisa, cite:

 @misc{KaolinWispLibrary,
      author = {Towaki Takikawa and Or Perel and Clement Fuji Tsang and Charles Loop and Joey Litalien and Jonathan Tremblay and Sanja Fidler and Maria Shugrina},
      title = {Kaolin Wisp: A PyTorch Library and Engine for Neural Fields Research},
      year = {2022},
      howpublished={url{https://github.com/NVIDIAGameWorks/kaolin-wisp}}
}

Obrigado

Agradecemos a James Lucas, Jonathan Tremblay, Valts Blukis, Anita Hu e Nishkrit Desai por nos dar feedback antecipado e testar o código em vários estágios durante o desenvolvimento. Agradecemos a Rogelio Olguin e Jonathan Tremblay pelos dados de referência do Wisp.

Agradecimentos especiais pelos membros da comunidade:

• Botanista de campo leve
• Soumik Rakshit

O que é "Wisp"?

Nossa biblioteca recebeu o nome da luz do fantasma atmosférico, Will-O'-the-Wisp, que são fantasmas volumétricos mais difíceis de modelar com representações geometas padrão comuns como malhas. Fornecemos um conjunto de dados multiview do Wisp como um conjunto de dados de referência para um objeto volumétrico. Também fornecemos o arquivo do Blender e os scripts de renderização, se você deseja gerar dados específicos com essa cena, consulte o readme.md para obter maiores detalhes sobre como gerar os dados.