300 jours__Generativeai
Ce référentiel, 300days_generativeai, est dédié à 300 jours d'apprentissage continu axé sur l'IA génératif, étudiant quotidiennement différents livres et documents de recherche. Je vais revoir les apprentissages passés, mettre à jour ma compréhension et plonger plus profondément dans les subtilités génératives de l'IA.
| Non | Livre | Statut |
|---|
| 1 | Mastering Pytorch: Créez et déployez des modèles d'apprentissage en profondeur de CNNS aux modèles multimodaux, LLMS et au-delà (Ashish Ranjan Jha) | En cours |
| 2 | Transfert d'apprentissage pour le traitement du langage naturel (Paul Azunre) | |
| 3 | Construisez un grand modèle de langue (à partir de zéro) (MEAP) (Sebastian Raschka) | En cours |
| 4 | Apprenez une IA générative avec Pytorch (Mark Liu) | |
| 5 | AI générative en action (MEAP V02) (Amit Bahree) | |
| 6 | Comprendre Langchain: un guide complet pour fabriquer des applications de modèle de langue futuriste (Jeffery Owens) | |
| 7 | Le livre de jeu du développeur pour la sécurité du modèle de grande langue (Steve Wilson) | |
| Non. | Document de recherche | Sujet | Statut |
|---|
| 1 | Un nouveau modèle de réseau neuronal convolutionnel profond LENET-5 pour la reconnaissance d'image | LENET-5 | ✅ Terminé |
| 2 | Aller plus loin avec les convolutions | Googlenet | ✅ Terminé |
Jour 1 de 300Daysofgenerativeai
- Dans la session d'aujourd'hui sur la maîtrise de Pytorch, je me suis concentré sur les aspects fondamentaux de l'apprentissage en profondeur, en particulier grâce au tutoriel "Deep Learning with Pytorch: A 60 minutes". J'ai appris les architectures de réseau neuronal, y compris les couches entièrement connectées, convolutionnelles et récurrentes, et exploré les modules clés de Pytorch tels que Torch.autograd pour la différenciation automatique et Torch.nn pour la construction de réseaux. J'ai pratiqué la propagation vers l'avant et vers l'arrière, le calcul des pertes et la descente de gradient, aboutissant à la construction d'un simple réseau neuronal pour les aliments pour animation. Au cours des séances à venir, mon agenda comprend une plongée profonde dans le pouvoir des réseaux de neurones convolutionnels (CNNS), leur évolution architecturale et le développement pratique de modèles comme LENET, Alexnet, VGG, Googlenet, Inception V3, Resnet, densenet et efficacetNets, en discutant de leur signification et de leur avenir dans l'apprentissage en profondeur.
- Ressource supplémentaire:
- Deep Learning with Pytorch: un blitz de 60 minutes
Jour 2 de 300Daysofgenerativeai
- Dans la session d'aujourd'hui sur la maîtrise de Pytorch, j'ai une session brève mais productive plongeant dans des architectures CNN profondes. J'ai exploré pourquoi les CNN sont si efficaces pour les tâches comme la classification d'images et la détection d'objets, mettant en évidence l'efficacité de leur paramètre, l'extraction automatique des fonctionnalités et l'apprentissage hiérarchique. J'ai passé en revue diverses innovations architecturales telles que les CNN spatial, profondeur, largeur et multi-chers. J'ai également examiné une implémentation d'AlexNet dans Pytorch, en me concentrant sur sa structure de couche et sur la façon dont il exploite les fonctions d'abandon et d'activation. De plus, j'ai noté la disponibilité de divers modèles CNN prédéfinis dans le package TorchVision de Pytorch, y compris Alexnet, VGG, Resnet et autres.
Jour 3 sur 300DaysofGenerativeai
- Dans la session d'aujourd'hui sur la maîtrise de Pytorch, j'ai préparé un ensemble de données pour une tâche de classification d'image, mis en œuvre un processus de réglage fin pour un modèle Alexnet pré-formé et abordé un problème de comportement déterministe qui s'est présenté pendant la formation. J'ai créé des chargeurs de données, défini les fonctions d'assistance pour la visualisation et le modèle de réglage du modèle, et modifié la couche finale du modèle pré-formé pour correspondre au nombre de classes dans mon ensemble de données. Au cours du processus de réglage fin, j'ai rencontré un avertissement lié à l'utilisation de l'opération
adaptive_avg_pool2d_backward_cuda , qui n'a pas d'implémentation déterministe. Pour y remédier, j'ai appris différentes approches pour permettre un comportement déterministe dans Pytorch, comme la désactivation sélective du déterminisme pour le fonctionnement problématique ou l'utilisation de l'option warn_only=True lors de l'activation des algorithmes déterministes. Cette expérience pratique m'a fourni une compréhension plus approfondie des considérations pratiques lors de l'application de techniques d'apprentissage en profondeur aux problèmes de classification de l'image.
Jour 4 sur 300Daysofgenerativeai
- Dans la session d'aujourd'hui sur la maîtrise de Pytorch, j'ai appris que Googlenet, également connu sous le nom de création V1, est une architecture de réseau neuronal convolutionnel révolutionnaire qui a introduit le module de création, qui comprend des couches convolutionnelles parallèles avec des tailles de noyau variables (1x1, 3x3, 5x5) pour capturer des tailles de noyau. J'ai découvert que les convolutions 1x1 sont cruciales pour la réduction de la dimensionnalité, permettant au modèle de maintenir l'efficacité en réduisant la profondeur des cartes de caractéristiques sans modifier les dimensions spatiales. De plus, j'ai appris que Googlenet utilise un regroupement moyen mondial avant la couche de sortie pour minimiser les paramètres et améliorer la robustesse contre le sur-ajustement. Mon exploration de Inception V3 m'a montré comment elle s'appuie sur la conception d'origine avec des modules plus complexes et des couches supplémentaires, ce qui entraîne une amélioration des performances. Dans l'ensemble, j'ai maintenant une compréhension plus approfondie des techniques innovantes dans Googlenet et Inception V3, y compris les modules de création, les convolutions 1x1 et le regroupement moyen mondial, qui ont considérablement progressé le domaine de la vision par ordinateur.
Jour 5 de 300Daysofgenerativeai
- Dans la session d'aujourd'hui sur la maîtrise de Pytorch, j'ai travaillé sur la mise en œuvre de l'architecture Googlenet, en me concentrant sur la construction et l'intégration de plusieurs modules de création dans le réseau. J'ai affiné les paramètres de chaque module de création pour refléter correctement la configuration prévue, qui comprenait l'ajustement des couches de convolution et de pool pour extraire efficacement les fonctionnalités à différentes échelles. De plus, j'ai incorporé la couche de convolution initiale avec la normalisation du lot et l'activation du RELU, suivie des couches de regroupement maximum pour la réduction de l'échantillonnage. En travaillant sur le modèle, j'ai également considéré l'importance des classificateurs auxiliaires, qui sont généralement inclus dans l'architecture Googlenet pour aider à atténuer le problème du gradient de fuite en fournissant une supervision intermédiaire. Ces classificateurs sont des versions plus petites du classificateur principal, attachées aux couches antérieures, et ils améliorent la capacité du réseau à apprendre des fonctionnalités significatives pendant la formation.
Jour 6 sur 300DaysofGenerativeai
- Dans la session d'aujourd'hui, j'ai lu "un nouveau modèle de réseau neuronal convolutionnel Deep LENET-5 pour la reconnaissance d'image", qui propose une version améliorée de l'architecture LENET-5 traditionnelle visant à améliorer les capacités de reconnaissance d'image. Les auteurs traitent les limites de l'apprentissage automatique conventionnel et des modèles CNN antérieurs, tels que les exigences matérielles élevées et les vitesses de convergence lente. Leur nouvelle approche simplifie la structure du réseau tout en améliorant la vitesse d'entraînement et modifie la fonction d'activation dans une unité linéaire rectifiée logarithmique (L RELU). Les résultats expérimentaux sur l'ensemble de données MNIST démontrent que le modèle amélioré atteint un taux de reconnaissance supérieur à 98%, surpassant considérablement d'autres algorithmes de pointe, fournissant ainsi une référence précieuse pour les progrès de la technologie de reconnaissance d'image.
Jour 7 de 300DaysofGenerativeai
- Dans la session d'aujourd'hui sur "Build a un grand modèle de langue (à partir de zéro)" de Sebastian Raschka, je me suis plongé dans les principes fondamentaux des modèles de grande langue (LLM) et de leur construction. J'ai exploré l'architecture du transformateur, qui comprend à la fois des encodeurs et des décodeurs, mettant l'accent sur le mécanisme d'auto-agence qui permet aux modèles de se concentrer sur différentes parties du texte d'entrée. J'ai examiné les deux étapes clés de la construction de LLMS: pré-entraînement sur de grands corpus de texte bruts pour la prédiction des mots suivants, et en train de faire des ensembles de données plus petits et étiquetés pour des tâches spécifiques. De plus, j'ai appris les capacités génératives de modèles comme GPT et leurs comportements émergents, qui leur permettent d'effectuer une variété de tâches, telles que la traduction et la classification, même sans formation explicite pour ces tâches.
