mmgeneration

Documentação | Instalação | ? Model zoo | ? Atualizar notícias | Projetos em andamento | ? Problemas de relatório

Inglês | 简体中文

O que há de novo

A MMEGENERAÇÃO foi mesclada em mmediting. E apoiamos tarefas e modelos de novas gerações. Destacamos os seguintes novos recursos:

• ? Text2Image

  • ✅ Glide
  • ✅ Discofifusão
  • ✅ Difusão estável

• ? Geração com reconhecimento 3D

  • ✅ EG3D

Introdução

A MMEGenation é um poderoso kit de ferramentas para modelos generativos, especialmente para Gans agora. É baseado em Pytorch e MMCV. A filial principal trabalha com Pytorch 1.5+ .

Principais características

• Desempenho de treinamento de alta qualidade: atualmente apoiamos o treinamento em Gans incondicionais, Gans internos e modelos de tradução de imagens. O suporte para modelos condicionais chegará em breve.
• O poderoso kit de ferramentas de aplicativo: um kit de ferramentas abundante que contém vários aplicativos em GANs é fornecido aos usuários. A interpolação de Gan, a projeção GaN e as manipulações de GaN são integradas em nossa estrutura. É hora de brincar com seus Gans! (Tutorial para aplicações)
• Treinamento distribuído eficiente para modelos generativos: para o treinamento altamente dinâmico em modelos generativos, adotamos uma nova maneira de treinar modelos dinâmicos com MMDDP . (Tutorial para DDP)
• Novo design modular para combinação flexível: é proposto um novo design para módulos de perda complexos para personalizar os links entre os módulos, que podem obter uma combinação flexível entre diferentes módulos. (Tutorial para novo design modular)

Visualização de treinamento	Interpolação GaN	Projector Gan	Manipulação de gan

Destaque

• A codificação posicional como viés indutiva espacial em Gans (CVPR2021) foi liberada na MMGeneration . [Config], [página do projeto]
• Gans condicionais foram suportados em nosso kit de ferramentas. Mais métodos e pesos pré-treinados chegarão em breve.
• O treinamento de precisão mista (FP16) para Stylegan2 foi suportada. Verifique a comparação entre diferentes implementações.

Changelog

V0.7.3 foi lançado em 14/04/2023. Consulte o Changelog.md para obter detalhes e histórico de lançamento.

Instalação

MMEGENERAÇÃO depende de Pytorch e MMCV. Abaixo estão as etapas rápidas para instalação.

Etapa 1. Instale o Pytorch seguindo instruções oficiais, por exemplo,

 pip3 install torch torchvision

Etapa 2. Instale o MMCV com MIM.

 pip3 install openmim
mim install mmcv-full

Etapa 3. Instale o MMEGERAÇÃO da fonte.

 git clone https://github.com/open-mmlab/mmgeneration.git
cd mmgeneration
pip3 install -e .

Consulte o get_started.md para obter uma instrução mais detalhada.

Começando

Consulte get_started.md para o uso básico da MMEGENERAÇÃO. Docs/en/quick_run.md pode oferecer orientações completas para execução rápida. Para outros detalhes e tutoriais, vá para a nossa documentação.

Modelzoo

Esses métodos foram cuidadosamente estudados e apoiados em nossas estruturas:

Gans incondicionais (clique para entrar em colapso)

• ✅ DCGAN (ICLR'2016)
• ✅ WGAN-GP (NIPS'2017)
• ✅ Lsgan (ICCV'2017)
• ✅ Ggan (Arxiv'2017)
• ✅ PGGAN (ICLR'2018)
• ✅ Styleganv1 (CVPR'2019)
• ✅ Styleganv2 (CVPR'2020)
• ✅ Styleganv3 (Neurips'2021)
• ✅ Codificação posicional em Gans (CVPR'2021)

Gans condicionais (clique para entrar em colapso)

• ✅ Sngan (ICLR'2018)
• ✅ GaN de projeção (ICLR'2018)
• ✅ Sagan (ICML'2019)
• ✅ Biggan/Biggan-Deep (ICLR'2019)

Truques para Gans (clique para entrar em colapso)

• ✅ Ada (Neurips'2020)

Image2Image Translation (clique para entrar em colapso)

• ✅ Pix2pix (CVPR'2017)
• ✅ Cyclegan (ICCV'2017)

Aprendizagem interna (clique para entrar em colapso)

• ✅ Singan (ICCV'2019)

Modelos probabilísticos de difusão de denoising (clique para entrar em colapso)

• ✅ DDPM melhorado (ARXIV'2021)

Aplicativos relacionados

• ✅ MMGEN-Facestylor

Contribuindo

Agradecemos todas as contribuições para melhorar a MMMEGENERAÇÃO. Consulte o contribuindo.md no MMCV para obter mais detalhes sobre a diretriz contribuinte.

Citação

Se você achar este projeto útil em sua pesquisa, considere citar:

 @misc { 2021mmgeneration ,
    title = { {MMGeneration}: OpenMMLab Generative Model Toolbox and Benchmark } ,
    author = { MMGeneration Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmgeneration} } ,
    year = { 2021 }
}

Licença

Este projeto é lançado sob a licença Apache 2.0. Algumas operações na MMGeneration são com outras licenças em vez do APACHE2.0. Consulte Licenses.md para obter uma verificação cuidadosa, se você estiver usando nosso código para assuntos comerciais.

Projetos no OpenMmlab

• MMCV: Biblioteca fundamental do OpenMmlab para visão computacional.
• MIM: MIM instala pacotes OpenMmlab.
• MMCLASSIFICATIVA: Caixa de ferramentas de classificação de imagem OpenMMLab e referência.
• MMDETECTION: Caixa de ferramentas de detecção OpenMMLab e referência.
• MMDETECTION3D: Plataforma de próxima geração do OpenMmlab para detecção geral de objetos 3D.
• MMROTATE: Caixa de ferramentas de detecção de objetos rotacionada OpenMMLab e referência.
• MMSsegmentation: Caixa de ferramentas de segmentação semântica OpenMMLab e referência.
• MMOCR: OpenMMLab Text Detection, Reconhecimento e Caixa de Ferramentas.
• MMPOSE: OpenMmlab Pose Estimativa Caixa de ferramentas e referência.
• MMHUMAN3D: OpenMMLab 3D Modelo Human Paramétrico Caixa de ferramentas e benchmark.
• MMSelfSup: OpenMmlab Caixa de ferramentas de aprendizado auto-supervisionada e referência.
• MMRAZOR: OpenMmlab Model Compression Toolbox e Benchmark.
• MMFewshot: OpenMmlab FewShot Learning Caixa de ferramentas e referência.
• Mmaction2: Ação de próxima geração do OpenMmlab Caixa de ferramentas e benchmark.
• MMTRACKING: Caixa de ferramentas de percepção de vídeo OpenMMLab e referência.
• MMFlow: OpenMMLab Caixa de ferramentas de fluxo óptico e referência.
• Mmediting: OpenMmlab Image e Video Editing Toolbox.
• MMEGERAÇÃO: OpenMMMLab Image and Video Generative Models Toolbox.
• MMDEPLOW: OpenMmlab Model Deployment Framework.

Expandir