kaolin wisp

Kaolin Wisp: Une bibliothèque et moteur Pytorch pour la recherche sur les champs neuronaux

Nvidia Kaolin Wisp est une bibliothèque Pytorch propulsée par Nvidia Kaolin Core pour travailler avec des champs neuronaux (y compris Nerfs, Nglod, Instant-NGP et VQAD).

Nvidia Kaolin Wisp vise à fournir un ensemble de fonctions d'utilité communes pour effectuer des recherches sur les champs neuronaux. Cela inclut les ensembles de données, les E / S d'image, le traitement de maillage et les fonctions d'utilité des rayons. Wisp est également livré avec des éléments constitutifs comme des rendus différenciables et des structures de données différenciables (comme Octrees, des grilles de hachage, des caractéristiques triplanaires) qui sont utiles pour construire des champs neuronaux complexes. Il comprend également le débogage des outils de visualisation, le rendu interactif et la formation, la journalisation et les classes de formateurs.

Vérifiez notre document pour plus d'informations!

Pour un aperçu des champs de neurones, nous vous recommandons de consulter le rapport EG Star: champs neuronaux pour l'informatique visuelle et au-delà.

Dernières mises à jour

wisp 1.0.3 <- main

• 17/04/23 Le système de configuration a été remplacé! Consultez la page de configuration pour les instructions d'utilisation et la compatibilité vers l'arrière ( Breaking Change ). Notez que la bibliothèque Wisp Core reste compatible, les principaux et les formateurs doivent être mis à jour.

WISP 1.0.2 <- stable

• 15/04/23 La prise en charge du cahier Jupyter a été ajoutée - utile pour les machines sans écran.
• 01/02/23 attrdict Dependency ajouté dans le cadre du nouveau cadre de jeux de données. Si vous tirez plus tard, assurez-vous d' pip install attrdict .
• 17/01/23 pycuda remplacé par cuda-python . Wisp peut être installé à partir de PIP maintenant (si vous tirez, exécutez Pip Installer -r exidits_app.txt )
• 05/01/23 Les plats sont désormais introduits comme des applications autonomes, pour un support plus facile des nouveaux pipelines ( changement de rupture )

Installation

Voir les instructions d'installation ici.

Contributions externes

Nous accueillons et encourageons les contributions externes à la base de code! Pour plus de détails, lisez la FAQ et la page de licence.

Licence et citation

Cette base de code est sous licence en vertu de la licence de code source NVIDIA. Des licences commerciales sont également disponibles gratuitement. Veuillez postuler en utilisant ce lien (utilisez "autre" et spécifiez Kaolin Wisp): https://www.nvidia.com/en-us/research/inquières/

Si vous trouvez la bibliothèque Wisp Nvidia Kaolin utile pour vos recherches, veuillez citer:

 @misc{KaolinWispLibrary,
      author = {Towaki Takikawa and Or Perel and Clement Fuji Tsang and Charles Loop and Joey Litalien and Jonathan Tremblay and Sanja Fidler and Maria Shugrina},
      title = {Kaolin Wisp: A PyTorch Library and Engine for Neural Fields Research},
      year = {2022},
      howpublished={url{https://github.com/NVIDIAGameWorks/kaolin-wisp}}
}

Merci

Nous remercions James Lucas, Jonathan Tremblay, Valts Blukis, Anita Hu et Nishkrit Desai pour nous avoir donné des commentaires précoces et tester le code à différentes étapes du développement. Nous remercions Rogelio Olguin et Jonathan Tremblay pour les données de référence WISP.

Merci spécial pour les membres de la communauté:

• Botaniste de Lightfield
• Soumik Rakshit

Qu'est-ce que "Wisp"?

Notre bibliothèque est nommée d'après la lumière des fantômes atmosphériques, Will-O'-the-Wisp, qui sont des fantômes volumétriques qui sont plus difficiles à modéliser avec des représentations de géométrie standard communes comme les maillages. Nous fournissons un ensemble de données multi-commentaires du WISP en tant qu'ensemble de données de référence pour un objet volumétrique. Nous fournissons également le fichier Blender et le rendu des scripts si vous souhaitez générer des données spécifiques avec cette scène, veuillez vous référer à Readme.md pour plus de détails sur la façon de générer les données.