Dive into DL PyTorch

Ce projet modifie la mise en œuvre du code MXNET dans le livre original "Hand-on Learning Deep Learning" vers l'implémentation de Pytorch. Auteurs de livres originaux: Aston Zhang, Li MU, Zachary C. Lipton, Alexander J. Smora et autres contributeurs communautaires, Adresse GitHub: https://github.com/d2l-ai/d2l-zh

Il existe quelques différences dans les versions chinoises et anglaises de ce livre. Pour la refactorisation Pytorch de la version anglaise de ce livre, veuillez vous référer à ce projet. Il existe quelques différences entre les versions chinoises et anglaises de ce livre. Pour la modification Pytorch de la version anglaise, vous pouvez vous référer à ce dépôt.

Introduction

Ce référentiel contient principalement deux dossiers: le code et les documents (plus certaines données sont stockées dans les données). Le dossier de code est le code de carnet de jupyter pertinent pour chaque chapitre (basé sur Pytorch); Le dossier DOCS est le contenu pertinent dans le livre "Hand-on Deep Learning" au format Markdown, puis utilise Docsify pour déployer le document Web sur les pages GitHub. Étant donné que le livre original utilise le framework MXNET, le contenu DOCS peut être légèrement différent du livre original, mais le contenu global est le même. Les contributions à ce projet ou problème sont les bienvenues.

Pour les foules

Ce projet s'adresse aux chaussures pour enfants qui s'intéressent à l'apprentissage en profondeur, en particulier à ceux qui veulent utiliser Pytorch pour l'apprentissage en profondeur. Ce projet ne vous oblige pas à avoir des connaissances de base de l'apprentissage en profondeur ou de l'apprentissage automatique. Il vous suffit de comprendre les mathématiques et la programmation de base, telles que l'algèbre linéaire de base, la différentiel et la probabilité et la programmation de base Python.

Comment manger

Méthode 1

Ce référentiel contient des formules de latex, mais le natif de Markdown de GitHub ne prend pas en charge l'affichage de la formule, et le dossier DOCS a été déployé sur les pages GitHub à l'aide de DocSify, donc le moyen le plus simple de visualiser le document est d'accéder directement à la version Web de ce projet. Bien sûr, si vous souhaitez toujours exécuter le code pertinent, vous devez toujours cloner le projet, puis exécuter le code pertinent dans le dossier de code.

Méthode 2

Vous pouvez également accéder à la documentation localement et installer d'abord docsify-cli :

npm i docsify-cli -g

Puis cloner le projet localement:

git clone https://github.com/ShusenTang/Dive-into-DL-PyTorch.git
cd Dive-into-DL-PyTorch

Exécutez ensuite un serveur local, afin que vous puissiez facilement accéder à l'effet de rendu Web du document en temps réel sur http://localhost:3000 .

docsify serve docs

Méthode 3

Si vous ne souhaitez pas installer l'outil docsify-cli et même Node.js n'est pas installé sur votre ordinateur, et pour une raison quelconque, vous souhaitez parcourir les documents localement, vous pouvez exécuter le service Web dans docker .

Tout d'abord, clonez ce projet vers la région:

git clone https://github.com/ShusenTang/Dive-into-DL-PyTorch.git
cd Dive-into-DL-PyTorch

Utilisez ensuite la commande suivante pour créer une image docker nommée "D2DL":

docker build -t d2dl .

Une fois l'image créée, exécutez la commande suivante pour créer un nouveau conteneur:

docker run -dp 3000:3000 d2dl

Enfin, ouvrez cette adresse http://localhost:3000/#/ dans votre navigateur pour profiter du document. Convient à ceux qui ne veulent pas installer trop d'outils sur leurs ordinateurs.

Table des matières

• Introduction
• Guide de lecture
• 1. Introduction à l'apprentissage en profondeur
• 2. Connaissances de préparation
  • 2.1 Configuration de l'environnement
  • 2.2 Fonctionnement des données
  • 2.3 Trouver automatiquement les gradients
• 3. Bases de l'apprentissage en profondeur
  • 3.1 Régression linéaire
  • 3.2 Implémentation de la régression linéaire à partir de zéro
  • 3.3 Une implémentation concise de la régression linéaire
  • 3.4 Régression Softmax
  • 3.5 Ensemble de données de classification d'image (mode-MNIST)
  • 3.6 Implémentation de la régression Softmax à partir de zéro
  • 3.7 Une simple mise en œuvre de la régression softmax
  • Machine de détection multicouche de 3,8
  • 3.9 Implémentation de la machine de perception multicouche à partir de zéro
  • 3.10 Implémentation simple de la machine de perception multicouche
  • 3.11 Sélection, sous-ajustement du modèle et sur-ajustement
  • 3.12 Déranges de poids
  • 3.13 Méthode de rejet
  • 3.14 Diagramme de propagation vers l'avant, de propagation du dos et de calcul
  • 3.15 Stabilité numérique et initialisation du modèle
  • 3.16 Concours réel de Kaggle: prévision des prix des maisons
• 4. Computing en profondeur
  • 4.1 Construction du modèle
  • 4.2 Accès, initialisation et partage des paramètres du modèle
  • 4.3 Initialisation de retard des paramètres du modèle
  • 4.4 Couche personnalisée
  • 4.5 lecture et stockage
  • 4.6 Computing GPU
• 5. Réseau neuronal convolutionnel
  • 5.1 Couche de convolution bidimensionnelle
  • 5.2 Remplir et fouler
  • 5.3 canal multi-entrée et canal multi-points
  • 5.4 Couche de mise en commun
  • 5.5 Réseau neuronal convolutionnel (LENET)
  • 5.6 Réseau neuronal convolutionnel profond (Alexnet)
  • 5.7 Réseaux utilisant des éléments répétitifs (VGG)
  • 5.8 Réseau du réseau (NIN)
  • 5.9 Réseau avec connexion parallèle (Googlenet)
  • 5.10 Normalisation par lots
  • 5.11 Réseau résiduel (RESNET)
  • 5.12 denset
• 6. Réseau neuronal récurrent
  • 6.1 Modèle de langue
  • 6.2 Réseau neuronal récurrent
  • 6.3 Langue Model DataSet (Paroles de l'album de Jay Chou)
  • 6.4 Implémentation de réseaux de neurones récurrents à partir de zéro
  • 6.5 Implémentation simple du réseau neuronal récurrent
  • 6.6 rétro-propagation dans le temps
  • 6.7 Unité de circulation fermée (GRU)
  • 6.8 Mémoire à court terme (LSTM)
  • 6.9 Réseau neuronal récurrent profond
  • 6.10 Réseau neuronal récurrent bidirectionnel
• 7. Algorithme d'optimisation
  • 7.1 Optimisation et apprentissage en profondeur
  • 7.2 Descente du gradient et descente de gradient stochastique
  • 7.3 Small Batch Stochastic Gradient Descent
  • 7.4 Méthode de momentum
  • 7.5 Algorithme Adagrad
  • Algorithme RMSProp 7.6
  • 7.7 Algorithme Adadelta
  • 7.8 Algorithme Adam
• 8. Performance informatique
  • 8.1 Programmation hybride impérative et symbole
  • 8.2 Calcul asynchrone
  • 8.3 Computing parallèle automatique
  • 8.4 Informatique multi-GPU
• 9. Vision informatique
  • 9.1 Augmentation de l'image
  • 9.2 ajustement fin
  • 9.3 Détection d'objet et boîte de délimitation
  • 9.4 Cadre d'ancrage
  • 9.5 Détection cible à plusieurs échelles
  • 9.6 ensemble de données de détection d'objets (Pikachu)
  • 9.7 Détection multi-trames (SSD)
  • 9.8 Series régionales du réseau neuronal convolutionnel (R-CNN)
  • 9.9 Segmentation sémantique et ensembles de données
  • 9.10 Réseau de convolution complet (FCN)
  • 9.11 Migration de style
  • 9.12 Competition pratique de Kaggle: Classification d'image (CIFAR-10)
  • 9.13 Competition pratique de Kaggle: Identification des races de chiens (Imagenet Dogs)
• 10. Traitement du langage naturel
  • 10.1 Incorporation du mot (Word2Vec)
  • 10.2 Formation approximative
  • 10.3 Implémentation de Word2Vec
  • 10.4 Intégration de sous-mots (FastText)
  • 10,5 Mot Incorporation de vecteurs mondiaux (gant)
  • 10.6 Trouver des synonymes et des analogies
  • 10.7 Classification des émotions de texte: utiliser des réseaux de neurones récurrents
  • 10.8 Classification des émotions de texte: Utilisation du réseau neuronal convolutionnel (TextCNN)
  • 10.9 Encodeur-décodeur (SEQ2SEQ)
  • Recherche de 10.10 Bunch
  • 10.11 Mécanisme d'attention
  • 10.12 Traduction machine

Mis à jour en continu ...

Adresse du livre original

Version chinoise: apprenez l'apprentissage en profondeur sur les mains | Référentiel GitHub
Version anglaise: plongez dans Deep Learning | GitHub Repo

Citation

Si vous avez utilisé ce projet dans votre recherche, veuillez citer le livre original:

 @book{zhang2019dive,
    title={Dive into Deep Learning},
    author={Aston Zhang and Zachary C. Lipton and Mu Li and Alexander J. Smola},
    note={url{http://www.d2l.ai}},
    year={2020}
}