uvadlc_notebooks
1.0.0
Remarque: Pour regarder les cahiers dans un format plus agréable, visitez notre site Web RTD: https://uvadlc-notebooks.readthedocs.io/en/latest/
Site Web de cours : https://uvadlc.github.io/
Édition de cours : automne 2024 (28 octobre - 20 décembre) - être tenu à jour
Enregistrements : playlist YouTube
Auteur : Phillip Lippe
Pour l'édition de cours de cette année, nous avons créé une série de cahiers de jupyter qui sont conçus pour vous aider à comprendre la "théorie" des conférences en voyant des implémentations correspondantes. Nous visiterons divers sujets tels que les techniques d'optimisation, les transformateurs, les réseaux de neurones graphiques, et plus encore (pour une liste complète, voir ci-dessous). Les ordinateurs portables sont là pour vous aider à comprendre le matériel et à vous apprendre les détails du cadre Pytorch , y compris Pytorch Lightning . De plus, nous fournissons des traductions individuelles des cahiers à Jax + Flax comme cadre alternatif.
Les cahiers sont présentés à la première heure de chaque session de didacticiel de groupe. Au cours des séances de tutoriel, nous présenterons le contenu et expliquerons la mise en œuvre des cahiers. Vous pouvez décider de vous-même si vous souhaitez simplement regarder le cahier rempli, que vous souhaitez l'essayer vous-même ou de coder pendant la session pratique. Les ordinateurs portables ne font pas directement partie des affectations obligatoires sur lesquelles vous seriez noté ou de la même manière. Cependant, nous vous encourageons à vous familiariser avec les cahiers et à les expérimenter ou à les étendre vous-même. En outre, le contenu présenté sera pertinent pour l'affectation et l'examen notés.
Les tutoriels ont été intégrés en tant que tutoriels officiels de Pytorch Lightning. Ainsi, vous pouvez également les voir dans leur documentation.
Sur ce site Web, vous trouverez les ordinateurs portables exportés dans un format HTML afin que vous puissiez les lire à partir de n'importe quel appareil que vous préférez. Cependant, nous vous suggérons de leur donner également un essai et de les gérer vous-même. Il existe trois moyens principaux de gérer les cahiers que nous recommandons:
Localement sur CPU : Tous les ordinateurs portables sont stockés sur le référentiel GitHub qui construit également ce site Web. Vous pouvez les trouver ici: https://github.com/phlippe/uvadlc_notebooks/tree/master/docs/tutorial_notebooks. Les ordinateurs portables sont conçus pour que vous puissiez les exécuter sur des ordinateurs portables communs sans la nécessité d'un GPU. Nous fournissons des modèles pré-étendus qui sont automatiquement téléchargés lors de l'exécution des ordinateurs portables ou peuvent être téléchargés manuellement à partir de ce Google Drive. L'espace disque requis pour les modèles et ensembles de données pré-entraînés est inférieur à 1 Go. Pour vous assurer que vous avez tous les bons packages Python installés, nous fournissons un environnement conda dans le même référentiel (choisissez la version CPU ou GPU en fonction de votre système).
Google Colab : Si vous préférez exécuter les ordinateurs portables sur une plate-forme différente de votre propre ordinateur ou si vous souhaitez expérimenter la prise en charge de GPU, nous vous recommandons d'utiliser Google Colab. Chaque ordinateur portable de ce site Web de documentation a un badge avec un lien pour l'ouvrir sur Google Colab. N'oubliez pas d'activer la prise en charge du GPU avant d'exécuter le cahier ( Runtime -> Change runtime type ). Chaque ordinateur portable peut être exécuté indépendamment et ne vous oblige pas à connecter votre Google Drive ou similaire. Cependant, lors de la fermeture de la session, des modifications peuvent être perdues si vous ne l'enregistrez pas sur votre ordinateur local ou si vous avez copié le cahier de votre Google Drive au préalable.
Snellius Cluster : Si vous souhaitez former vos propres réseaux de neurones (plus grands) basés sur les ordinateurs portables, vous pouvez utiliser le cluster Snellius. Cependant, cela n'est suggéré que si vous voulez vraiment former un nouveau modèle et utiliser les deux autres options pour passer par la discussion et l'analyse des modèles. Snellius pourrait ne pas vous permettre avec votre compte étudiant d'exécuter directement des ordinateurs portables Jupyter sur la partition GPU_SHARED. Au lieu de cela, vous pouvez d'abord convertir les ordinateurs portables en un script à l'aide de jupyter nbconvert --to script ...ipynb , puis démarrer un travail sur Snellius pour exécuter le script. Quelques conseils lorsqu'ils courent sur Snellius:
progress_bar_refresh_rate=0 dans l'entraîneur.plt.show() à plt.savefig(...) . Nous discuterons de 7 des tutoriels du cours, répartis sur les conférences pour couvrir quelque chose de tous les domaines. Vous pouvez aligner les tutoriels avec les conférences en fonction de leurs sujets. La liste des tutoriels est:
C'est la première fois que nous présentons ces tutoriels pendant le cours d'apprentissage en profondeur. Comme pour tout autre projet, de petits bugs et problèmes sont attendus. Nous apprécions les commentaires des étudiants, qu'il s'agisse d'une erreur d'orthographe, d'un bogue de mise en œuvre ou de suggestions d'améliorations / ajouts aux ordinateurs portables. Veuillez utiliser le lien suivant pour soumettre des commentaires, ou n'hésitez pas à me contacter directement par courrier (p dot lippe à uva dot nl), ou à me saisir pendant toute session TA.
Si vous trouvez les tutoriels utiles et que vous souhaitez les citer, vous pouvez utiliser le bibtex suivant:
@misc { lippe2024uvadlc ,
title = { {UvA Deep Learning Tutorials} } ,
author = { Phillip Lippe } ,
year = 2024 ,
howpublished = { url{https://uvadlc-notebooks.readthedocs.io/en/latest/} }
}
