torchstat

Torchstat

Este é um analisador de rede neural leve baseado em Pytorch. Ele foi projetado para tornar a construção de suas redes rápidas e fáceis, com a capacidade de depurar. Nota : Este repositório está atualmente em desenvolvimento. Portanto, algumas APIs podem ser alteradas.

Essas ferramentas podem mostrar

• Número total de parâmetros de rede
• Quantidade teórica de aritmética de ponto flutuante (fracassos)
• Quantidade teórica de multiply-adds (madd)
• Uso de memória

Instalação

Existem duas maneiras de instalar o Torchstat em seu ambiente.

• Instale -o via PIP.

$ pip install torchstat

• Instale e atualize usando o setup.py após clonar este repositório.

$ python3 setup.py install

Um exemplo simples

Se você deseja executar o Torchstat o mais rápido possível, poderá chamá -lo como uma ferramenta da CLI se sua rede existir em um script. Caso contrário, você precisará importar o Torchstat como um módulo.

Ferramenta da CLI

$ torchstat masato$ torchstat -f example.py -m Net
[MAdd]: Dropout2d is not supported !
[Flops]: Dropout2d is not supported !
[Memory]: Dropout2d is not supported !
      module name  input shape output shape     params memory(MB)           MAdd         Flops  MemRead(B)  MemWrite(B) duration[%]   MemR+W(B)
0           conv1    3 224 224   10 220 220      760.0       1.85   72,600,000.0  36,784,000.0    605152.0    1936000.0      57.49%   2541152.0
1           conv2   10 110 110   20 106 106     5020.0       0.86  112,360,000.0  56,404,720.0    504080.0     898880.0      26.62%   1402960.0
2      conv2_drop   20 106 106   20 106 106        0.0       0.86            0.0           0.0         0.0          0.0       4.09%         0.0
3             fc1        56180           50  2809050.0       0.00    5,617,950.0   2,809,000.0  11460920.0        200.0      11.58%  11461120.0
4             fc2           50           10      510.0       0.00          990.0         500.0      2240.0         40.0       0.22%      2280.0
total                                        2815340.0       3.56  190,578,940.0  95,998,220.0      2240.0         40.0     100.00%  15407512.0
===============================================================================================================================================
Total params: 2,815,340
-----------------------------------------------------------------------------------------------------------------------------------------------
Total memory: 3.56MB
Total MAdd: 190.58MMAdd
Total Flops: 96.0MFlops
Total MemR+W: 14.69MB

Se você não tiver certeza de como usar um comando específico, execute o comando com os switches -h ou –help. Você verá informações de uso e uma lista de opções que você pode usar com o comando.

Módulo

 from torchstat import stat
import torchvision . models as models

model = models . resnet18 ()
stat ( model , ( 3 , 224 , 224 ))

Recursos e TODO

Nota : Esses recursos funcionam apenas nn.module. Os módulos em torch.nn.functional ainda não são suportados.

• Flops
• Número de parâmetros
• Memória total
• Madd (FMA)
• Memread
• Memwrite
• Resumo do modelo (detalhe, camada)
• Tabela de pontuação de exportação
• Forma de entrada arbitrária

Para as camadas suportadas, consulte os detalhes.

Requisitos

• Python 3.6+
• Pytorch 0.4.0+
• PANDAS 0.23.4+
• Numpy 1.14.3+

Referências

Agradeço a @sovrasov pela versão inicial do Flops Computation, @CEYKMC pelo backbone dos scripts.

• flops-counter.pytorch
• pytorch_model_summary
• Chainner_Computational_Cost
• Convnet-Burden.