dl_note

• Visão geral do projeto
• 1. Coluna básica de matemática e programação
• 2. Componentes básicos das redes neurais
• 3. Modelo de rede neural convolucional clássica
• 4. Alquimia de aprendizado profundo
• 5. Compressão do modelo de aprendizado profundo
• Sexto, Modelo Inferência de Inferência
• 7. Cursos avançados
• Referências

Visão geral do projeto

Este projeto de armazém é uma visão computacional e notas de aprendizado de modelos de idiomas grandes resumidas pela visão computacional pessoal e um modelo de linguagem grande, incluindo conhecimento básico de aprendizado profundo, explicação detalhada dos componentes básicos das redes neurais, estratégias de alquimia de aprendizado profundo, algoritmo de compressão de modelos de aprendizado profundo, algoritmo de análise de código de código de código de inferência de aprendizado e combate prático.

Para notas de coluna sobre o básico LLM e a otimização do raciocínio, consulte o armazém llm_note.

1. Coluna básica de matemática e programação

• Noções básicas da matemática de aprendizado profundo - teoria de probabilidade e informação
• Noções básicas de princípios básicos de aprendizagem profunda do aprendizado de máquina
• A base matemática de descida de gradiente estocástica
• Navegação mental de programação python

2. Componentes básicos das redes neurais

1. Componentes básicos da rede neural :

1. Explicação detalhada dos componentes básicos das redes neurais - camada convolucional
2. Explicação detalhada dos componentes básicos da rede neural - camada BN
3. Componentes básicos da rede neural - Explicação detalhada da função de ativação

2. Noções básicas de aprendizado profundo :

• Explicação detalhada de retropropagação e descida de gradiente
• Noções básicas de aprendizado profundo - explicação detalhada da inicialização de parâmetros
• Noções básicas de aprendizado profundo - explicação detalhada das funções de perda
• O básico do aprendizado profundo - explicação detalhada do algoritmo de otimização

3. Modelo de rede neural convolucional clássica

1. A espinha dorsal clássica das redes neurais convolucionais :

• Detalhes da rede Resnet
• Explicação detalhada da rede Densenet
• Detalhes da rede Resnetv2
• Resumo da rede de backbone clássica

2. Explicação detalhada da rede leve :

• Explicação detalhada do papel mobileNetv1
• Explicação detalhada do papel shufflenetv2
• Explicação detalhada do papel repvgg
• Explicação detalhada do papel cspnet
• Interpretação do papel Vovnet
• Resumo do design do modelo leve

4. Alquimia de aprendizado profundo

1. Padronização de alquimia de aprendizado profundo
2. Aprimoramento de alquimia profundo
3. Alquimia de aprendizado profundo - processamento de amostras desequilibradas
4. Aprendizagem profunda da configuração de alquimia-hyperparâmetro
5. Estratégia de alquimia de aprendizagem profunda

5. Compressão do modelo de aprendizado profundo

1. Um resumo do algoritmo de compressão do modelo de aprendizado profundo
2. Modelo de compactação-verão do design e implantação de rede leves
3. Modelo de compressão detalhada da compressão do algoritmo de poda
4. Modelo de compressão detalhada da destilação de conhecimento
5. Modelo de compressão detalhada da compressão do algoritmo de quantização

Sexto, Modelo Inferência de Inferência

1. Modelo de implantação de inferência:

• Análise de complexidade da rede neural convolucional
• Visão geral da implantação de compactação de compressão
• Explicação detalhada da multiplicação da matriz
• Técnicas de aceleração de inferência do modelo - Convolução de fusão e camadas BN

2. Análise de código -fonte da estrutura ncnn :

• NCNN Código-fonte Análise-amostra Run
• NCNN Código Fonte de Código-NET Classe

3. Cálculo heterogêneo

1. Computação heterogênea do terminal móvel: programação neon
2. Computação heterogênea terminal da GPU: programação cuda , como análise e otimização de algoritmos gemm

7. Cursos avançados

1. Recomende vários armazéns melhores e materiais de curso para compressão e aceleração de modelos de aprendizado profundo:

1. Tutorial sobre Princípios Básicos de Redes Neurais
2. Sistema de AI: Sistema de aprendizado profundo, explica principalmente os princípios, métodos de aceleração, multiplicação de matriz e cálculos de adição, etc. da direção subjacente.
3. Pytorch-Deep-Learning: Um bom tutorial de aprendizado profundo de Pytorch.

2. Alguns links de blog para boas notas:

• O transformador ilustrado: a maioria dos melhores blogs da China se refere a este artigo.
• C ++ Programação simultânea (de C ++ 11 a C ++ 17): Um bom tutorial de programação concorrente C ++.
• O que são modelos de difusão?
• ANOTATATET_DEEP_LEARNNE_PAPER_IMPLEMENTAÇÕES

3. Finalmente, não é fácil continuar a criar produtos de alta 5 .

A conta oficial não escreverá artigos de título-party, nem produzirá o conteúdo ansioso que traz para todos!

4. Gráfico de história das estrelas:

Referências

• Aprendizado profundo
• Aprendizado de máquina
• "Aprenda a aprendizagem profunda"
• Sistemas de aprendizado de máquina: design e implementação
• "Ai-edu"
• "Ai-System"
• "Pytorch_tutorial_0.0.5_yu tingsong"
• "Planer, uma estrutura profunda de inferência de aprendizado"
• Destilar: essência do conhecimento e visualização on -line
• LLVM IR INICIAMENTO CONHECE
• Nanopyc
• ClassifyTemplate
• Pytorch-Classification