VideoSuperResolution

Super resolução em vídeo

Uma coleção de arquiteturas de super-resolução de vídeo de última geração ou de super-imagem, reimplementada no TensorFlow.

Projeto enviado para Pypi agora. Tente instalar a partir de Pypi:

pip install VSR

Pesos pré -tenhados estão carregando agora.

Várias implementações de Pytorch referenciadas também estão incluídas agora.

Link rápido:

• Instalação
• Começando
• Benchmark

Lista de rede e referência (atualização)

O hiperlink direciona para o site em papel, segue os códigos oficiais se os autores abrirem fontes.

Todos esses modelos são implementados em uma estrutura.

Modelo	Publicado	Código*	Vsr (tf) **	VSR (tocha)	Palavras -chave	Pré -terenciado
Srcnn	ECCV14	-, Keras	Y	Y	Kaiming	√
Raisr	arxiv	-	-	-	Google, Pixel 3
EspCN	CVPR16	-, Keras	Y	Y	Tempo real	√
Vdsr	CVPR16	-	Y	Y	Profundo, residual	√
Drcn	CVPR16	-	Y	Y	Recorrente
Drrn	CVPR17	Caffe, Pytorch	Y	Y	Recorrente
Lapsrn	CVPR17	Matlab	Y	-	Perda de Huber
Edsr	CVPR17	-	Y	Y	NTIRE17 Campeão	√
Srgan	CVPR17	-	Y	-	1º GaN proposto
Vespcn	CVPR17	-	Y	Y	Vídeo	√
Memnet	ICCV17	Caffe	Y	-
Srdensenet	ICCV17	-, Pytorch	Y	-	Denso	√
Spmc	ICCV17	Tensorflow	T	Y	Vídeo
Dncnn	Tip17	Matlab	Y	Y	Denoise	√
DCSCN	arxiv	Tensorflow	Y	-
Idn	CVPR18	Caffe	Y	-	Rápido	√
Rdn	CVPR18	Tocha	Y	-	Profundo, bi-bd-dn
Srmd	CVPR18	Matlab	-	Y	Denoise/DeBlur/Sr	√
Dbpn	CVPR18	Pytorch	Y	Y	NTIRE18 Campeão	√
Zssr	CVPR18	Tensorflow	-	-	Zero-shot
Frvsr	CVPR18	Pdf	T	Y	Vídeo	√
DUF	CVPR18	Tensorflow	T	-	Vídeo
Carn	ECCV18	Pytorch	Y	Y	Rápido	√
Rcan	ECCV18	Pytorch	Y	Y	Profundo, bi-bd-dn
Msrn	ECCV18	Pytorch	Y	Y		√
Srfeat	ECCV18	Tensorflow	Y	Y	Gan
Nlrn	NIPS18	Tensorflow	T	-	Não local, recorrente
SrcliqueNet	NIPS18	-	-	-	Wavelet
FfdNet	Tip18	Matlab	Y	Y	Denoise condicional
Cbdnet	CVPR19	Matlab	T	-	Denominado cego
SOFVSR	ACCV18	Pytorch	-	Y	Vídeo	√
Esrgan	ECCVW18	Pytorch	-	Y	1º lugar PIMR 2018	√
TECOGAN	arxiv	Tensorflow	-	T	Vídeo Gan	√
Rbpn	CVPR19	Pytorch	-	Y	Vídeo	√
DPSR	CVPR19	Pytorch	-	-
Srfbn	CVPR19	Pytorch	-	-
Srntt	CVPR19	Tensorflow	-	-	Adobe
San	CVPR19	vazio	-	-	Alidamo Sota
Adafm	CVPR19	Pytorch	-	-	Sensetime Oral

*O 1º repo é do autor do autor.

** y : incluído; - : não incluído; T : Understesting.

Você pode baixar pesos pré-treinados através prepare_data ou visitar o hiperlink em √ .

Link dos conjuntos de dados

(Entre em contato comigo se algum dos links ofende você ou qualquer um desativado)

Nome	Uso	#	Site	Comentários
Set5	Teste	5	download	jbhuang0604
Set14	Teste	14	download	jbhuang0604
SUNHAY80	Teste	80	download	jbhuang0604
Urban100	Teste	100	download	jbhuang0604
Vid4	Teste	4	download	4 vídeos
BSD100	Trem	300	download	jbhuang0604
BSD300	Trem/Val	300	download	-
BSD500	Trem/Val	500	download	-
91-imagem	Trem	91	download	Yang
Div2k	Trem/Val	900	site	Ntire17
Waterloo	Trem	4741	site	-
Mcl-v	Trem	12	site	12 vídeos
GoPro	Trem/Val	33	site	33 Vídeos, Deblur
Celeba	Trem	202599	site	Rostos humanos
Sintel	Trem/Val	35	site	Fluxo óptico
Flyingchairs	Trem	22872	site	Fluxo óptico
Dnd	Teste	50	site	Fotos verdadeiras e barulhentas
Renoir	Trem	120	site	Fotos verdadeiras e barulhentas
NC	Teste	60	site	Fotos barulhentas
Sidd (M)	Trem/Val	200	site	Ntire 2019 real denoise
RSR	Trem/Val	80	download	Ntire 2019 real sr
Vimeo-90K	Trem/teste	89800	site	Vídeos HQ 90K

Outros conjuntos de dados abertos: kaggle imagenet coco

Pacote VSR

Este pacote oferece uma estrutura de treinamento e processamento de dados com base no TF. O que eu fiz é uma estrutura simples e fácil de usar, sem muitas encapsulações e abstrações. Além disso, o VSR pode lidar com NV12/yuv bruto, bem como uma sequência de imagens como entradas.

Instalar

1. Prepare o TensorFlow e o Pytorch adequados (opcional). Por exemplo, GPU e CUDA10.0 (recomendo usar conda ):

   conda install tensorflow-gpu==1.15.0
   # optional
   # conda install pytorch

2. Instale o pacote VSR

    # For someone see this doc online
   # git clone https://github.com/loseall/VideoSuperResolution && cd VideoSuperResolution
   pip install -e .

Começando

1. Faça o download de pesos pré-treinados e conjuntos de dados de treinamento (optinais). Por exemplo, vamos começar com os dados do teste VESPCN e VID4:

   python prepare_data.py --filter vespcn vid4

2. Personalize CD de back -end ~/ .vsr/ touch config.yml

    backend : tensorflow  # (tensorflow, pytorch)
   verbose : info        # (debug, info, warning, error)

3. Avaliar

    cd Train
   python eval.py srcnn -t vid4 --pretrain=/path/srcnn.pth

4. Trem

   python prepare_data.py --filter mcl-v
   cd Train
   python train.py vespcn --dataset mcl-v --memory_limit 1GB --epochs 100

OK, é tudo o que você precisa. Para mais detalhes, use --help para obter mais informações.

---

Mais documentos podem ser encontrados nos documentos.