mmgeneration

Documentation | Installation | ? Modèle Zoo | ? Mettre à jour les nouvelles | Projets en cours | ? Reporter des problèmes

Anglais | 简体中文

Quoi de neuf

MMGENERATION a été fusionnée dans Mmediting. Et nous avons soutenu les tâches et les modèles de nouvelle génération. Nous mettons en évidence les nouvelles fonctionnalités suivantes:

• ? Text2image

  • ✅ Glide
  • ✅ disco-diffusion
  • ✅ Diffusion stable

• ? Génération 3D-Aware

  • ✅ EG3D

Introduction

MMGENERATION est une boîte à outils puissante pour les modèles génératifs, en particulier pour Gans maintenant. Il est basé sur Pytorch et MMCV. La branche principale fonctionne avec Pytorch 1.5+ .

Caractéristiques majeures

• Performance de formation de haute qualité: nous soutenons actuellement la formation sur les Gans inconditionnels, les Gans internes et les modèles de traduction d'images. La prise en charge des modèles conditionnels viendra bientôt.
• Boîte à outils d'application puissante: Une boîte à outils abondante contenant plusieurs applications dans GANS est fournie aux utilisateurs. L'interpolation du GAN, la projection Gan et les manipulations de Gan sont intégrées dans notre cadre. Il est temps de jouer avec vos gans! (Tutoriel pour les applications)
• Formation distribuée efficace pour les modèles génératifs: pour la formation très dynamique dans les modèles génératifs, nous adoptons une nouvelle façon de former des modèles dynamiques avec MMDDP . (Tutoriel pour DDP)
• Une nouvelle conception modulaire pour une combinaison flexible: une nouvelle conception pour des modules de perte complexe est proposée pour personnaliser les liens entre les modules, qui peuvent réaliser une combinaison flexible entre différents modules. (Tutoriel pour une nouvelle conception modulaire)

Visualisation de formation	Interpolation de Gan	Projecteur Gan	Manipulation de Gan

Souligner

• Le codage positionnel en tant que biais inductif spatial dans les GAN (CVPR2021) a été libéré dans MMGeneration . [Config], [page du projet]
• Les Gans conditionnels ont été pris en charge dans notre boîte à outils. Plus de méthodes et de poids pré-formés viendront bientôt.
• La formation de précision mixte (FP16) pour Stylegan2 a été prise en charge. Veuillez vérifier la comparaison entre les différentes implémentations.

Changelog

V0.7.3 a été publié le 14/04/2023. Veuillez vous référer à Changelog.md pour plus de détails et à la publication de l'historique.

Installation

MMGENERATION dépend du pytorche et du MMCV. Vous trouverez ci-dessous des étapes rapides pour l'installation.

Étape 1. Installez Pytorch après les instructions officielles, par exemple

 pip3 install torch torchvision

Étape 2. Installez MMCV avec MIM.

 pip3 install openmim
mim install mmcv-full

Étape 3. Installez mmgeneration à partir de la source.

 git clone https://github.com/open-mmlab/mmgeneration.git
cd mmgeneration
pip3 install -e .

Veuillez vous référer à get_started.md pour une instruction plus détaillée.

Commencer

Veuillez consulter get_started.md pour l'utilisation de base de mmgeneration. Docs / en / Quick_run.md peut offrir des conseils complets pour une course rapide. Pour d'autres détails et tutoriels, veuillez consulter notre documentation.

Modelzoo

Ces méthodes ont été soigneusement étudiées et soutenues dans nos cadres:

Gans inconditionnel (cliquez pour s'effondrer)

• ✅ DCGAN (ICLR'2016)
• ✅ WGAN-GP (NIPS'2017)
• ✅ LSGAN (ICCV'2017)
• ✅ Ggan (Arxiv'2017)
• ✅ PGGAN (ICLR'2018)
• ✅ Styleganv1 (CVPR'2019)
• ✅ Styleganv2 (CVPR'2020)
• ✅ StyleGanv3 (Neirips'2021)
• ✅ Encodage de position dans GANS (CVPR'2021)

Gans conditionnels (cliquez pour s'effondrer)

• ✅ Sngan (ICLR'2018)
• ✅ Projection Gan (ICLR'2018)
• ✅ Sagan (ICMl'2019)
• ✅ Biggan / Biggan-Deep (ICLR'2019)

Des astuces pour Gans (cliquez pour s'effondrer)

• ✅ Ada (Neirips'2020)

Traduction d'image2Image (cliquez pour s'effondrer)

• ✅ PIX2PIX (CVPR'2017)
• ✅ Cyclegan (ICCV'2017)

Apprentissage interne (cliquez pour s'effondrer)

• ✅ Singan (ICCV'2019)

Modèles probabilistes de diffusion de débrassement (cliquez pour s'effondrer)

• ✅ Amélioration du DDPM (ARXIV'2021)

Applications connexes

• ✅ MMGEN-FACESTYLOR

Contributif

Nous apprécions toutes les contributions pour améliorer MMGenneration. Veuillez vous référer à contribution.md dans MMCV pour plus de détails sur la directive contributive.

Citation

Si vous trouvez ce projet utile dans vos recherches, veuillez envisager citer:

 @misc { 2021mmgeneration ,
    title = { {MMGeneration}: OpenMMLab Generative Model Toolbox and Benchmark } ,
    author = { MMGeneration Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmgeneration} } ,
    year = { 2021 }
}

Licence

Ce projet est publié sous la licence Apache 2.0. Certaines opérations en MMGeneration sont avec d'autres licences au lieu d'APACHE2.0. Veuillez vous référer à Licences.md pour le chèque minutieux, si vous utilisez notre code pour les questions commerciales.

Projets dans OpenMmLab

• MMCV: Bibliothèque fondamentale OpenMMLab pour la vision par ordinateur.
• MIM: MIM installe les packages OpenMmLab.
• MMCLASSIFICATION: boîte à outils de classification d'image OpenMMLAB et benchmark.
• MMDETECTION: Boîte à outils de détection OpenMMLAB et benchmark.
• MMDETECTION3D: Plateforme de nouvelle génération d'OpenMMLab pour la détection d'objets General 3D.
• MMROTATE: Boîte à outils de détection d'objets rotative OpenMMLab et benchmark.
• MmSegmentation: boîte à outils de segmentation sémantique OpenMMLAB et référence.
• MMOCR: OpenMmLab Text Detection, Reconnaissance et compréhension de la boîte à outils.
• MMPOSE: OpenMMLab Pose Estimation Toolbox et Benchmark.
• MMHUMAN3D: OpenMMLab 3D Human Parametric Model Box and Benchmark.
• MMelSup: OpenMmlab Auto-supervisé d'apprentissage et référence.
• MMRAZOR: boîte à outils de compression du modèle OpenMMLAB et benchmark.
• MMFewshot: OpenMmLab FewShot Learning Toolbox et Benchmark.
• MMAction2: OpenMMLab Next Genération Action Comprendre la boîte à outils et la référence.
• MMTRACKING: OpenMMLab Video Perception Toolbox and Benchmark.
• MMFLOW: boîte à outils à débit optique OpenMMLAB et benchmark.
• Mmediting: OpenMMLab Image et Toolbox de montage vidéo.
• MMGENERATION: OpenMMLAB Image et vidéo Modèles génératifs Boîtes à outils.
• MMDEPLOY: Framework de déploiement du modèle OpenMMLAB.

Développer