dl_note Download - dl_note CODE Téléchargement du code

dl_note

C/C++

1.0.0

Télécharger

Aperçu du projet
1. Colonne de base de mathématiques et de programmes
2. Composantes de base des réseaux de neurones
3. Modèle classique du réseau neuronal convolutionnel
4. Alchimie en profondeur
5. Compression du modèle d'apprentissage en profondeur
Sixièmement, déploiement d'inférence du modèle
7. Cours avancés
Références

Aperçu du projet

Ce projet d'entrepôt est une vision par ordinateur et des notes d'apprentissage du modèle de langue large résumées par une vision informatique personnelle et un modèle grand langage, y compris les connaissances de base de l'apprentissage en profondeur, l'explication détaillée des composantes de base des réseaux neuronaux, des stratégies d'alchimie en profondeur, l'algorithme de compression du modèle d'apprentissage en profondeur, l'analyse du cadre du cadre d'inférence en profondeur d'inférence et le combat pratiques pratiques.

Pour les notes de colonne sur les bases LLM et l'optimisation du raisonnement, veuillez vous référer à l'entrepôt LLM_NOTE.

1. Colonne de base de mathématiques et de programmes

Bases des mathématiques en profondeur - Probabilité et théorie de l'information
Bases des principes d'apprentissage en profondeur de l'apprentissage automatique
La base mathématique de la descente de gradient stochastique
Python Programmation Mind Navigation

2. Composantes de base des réseaux de neurones

1. Composants de base du réseau neuronal :

Explication détaillée des composantes de base des réseaux de neurones - couche convolutionnelle
Explication détaillée des composants de base du réseau neuronal - BN Couche
Composants de base du réseau neuronal - Explication détaillée de la fonction d'activation

2. Bases de l'apprentissage en profondeur :

Explication détaillée de la rétropropagation et de la descente de gradient
Bases de l'apprentissage en profondeur - Explication détaillée de l'initialisation des paramètres
Bases d'apprentissage en profondeur - Explication détaillée des fonctions de perte
Les bases de l'apprentissage en profondeur - Explication détaillée de l'algorithme d'optimisation

3. Modèle classique du réseau neuronal convolutionnel

1. L'épine dorsale classique des réseaux de neurones convolutionnels :

Détails du réseau Resnet
Explication détaillée du réseau densenet
Détails du réseau RESNETV2
Résumé du réseau d'épine dorsale classique

2. Explication détaillée du réseau léger :

Explication détaillée du papier MobileNetv1
Explication détaillée du papier shufflenetv2
Explication détaillée du papier repvgg
Explication détaillée du papier CSPNET
Interprétation du papier Vovnet
Résumé de la conception du modèle léger

4. Alchimie en profondeur

Standardisation des données d'alchimie d'apprentissage en profondeur
Amélioration des données d'alchimie d'apprentissage en profondeur
Alchimie d'apprentissage en profondeur - Traitement des échantillons déséquilibrés
Paramètre d'alchimie de l'apprentissage en profondeur
Stratégie d'alchimie-régularisation en deep learning

5. Compression du modèle d'apprentissage en profondeur

Un résumé de l'algorithme de compression du modèle d'apprentissage en profondeur
Modèle de compression-Summer de la conception et du déploiement du réseau léger
Explication de la compression de la compression de l'algorithme d'élagage
Explication de la compression de la compression du modèle de la distillation des connaissances
Explication de la compression de la compression du modèle de l'algorithme de quantification

Sixièmement, déploiement d'inférence du modèle

1. Département d'inférence du modèle:

Analyse de complexité du réseau neuronal convolutionnel
Présentation du déploiement de la compression du modèle
Explication détaillée de la multiplication matricielle
Techniques d'accélération de l'inférence du modèle - Fusion Convolution et BN couches

2. Analyse du code source du cadre ncnn :

NCNN Source Code Analysis-échantillon
classe d'analyse du code source NCNN

3. Calcul hétérogène

Terminal mobile Computing hétérogène: programmation neon
GPU Terminal Computing hétérogène: programmation cuda , telle que l'analyse et l'optimisation des algorithmes gemm

7. Cours avancés

1. Recommander plusieurs meilleurs entrepôts et matériel de cours pour la compression et l'accélération du modèle d'apprentissage en profondeur:

Tutoriel sur les principes de base des réseaux de neurones
Ai-System: Deep Learning System, explique principalement les principes, les méthodes d'accélération, la multiplication matricielle et les calculs d'addition, etc. à partir de la direction sous-jacente.
pytorch-def-learning: un bon tutoriel d'apprentissage en profondeur pytorch.

2. Quelques liens de blog vers de bonnes notes:

Le transformateur illustré: la plupart des meilleurs blogs en Chine se réfèrent à cet article.
C ++ Programmation simultanée (de C ++ 11 à C ++ 17): un bon tutoriel de programmation simultanée C ++.
Que sont les modèles de diffusion?
annoted_deep_learning_paper_implementations

3. Enfin, il n'est pas facile de continuer à créer des produits de haute 5 .