everything web scraping

Tout le grattage Web

Apprenez tout le grattage Web par David Teather Recherchez la série de vidéos sur YouTube.

Table des matières

1. Catalogue de cours
2. Comment démarrer les sites Web simulées

Veuillez envisager de donner des commentaires au cours

Accueillir!

Heureux que tu sois là! Si c'est votre première fois, consultez l'introduction, sinon les bienvenus!

Envisagez de me parrainer sur Github pour faire du travail comme celui-ci possible

Soutenir le projet

• Strer le repo?
  • Peut-être le partager avec certaines personnes nouvelles sur le scapage du Web?
• Envisagez de me parrainer sur github
• Envoyez-moi un e-mail ou un message LinkedIn me disant ce que vous aimez dans le cours (et peut-être ce que vous voulez voir à l'avenir)
• Soumettre PRS pour les suggestions / problèmes :)

Catalogue de cours

0. Introduction au cours
1. Introduction aux demandes d'API de forgeage
2. Proxies
3. Belle soupe grattant avec des sites renvoyés côté serveur et serveur

Comment démarrer les sites Web simulées

Procédure vidéo

Avec GitHub Codespaces (recommandé)

Si vous ne souhaitez pas gérer les logiciels d'installation et de configuration, j'ai configuré ce référentiel afin qu'un GitHub Codepace puisse faire tout cela pour vous.

Remarque: Un compte GitHub gratuit est livré avec 60 heures de codepaces gratuitement chaque mois, et si vous êtes étudiant, vous pouvez obtenir 90 heures gratuitement chaque mois avec Github Pro par le biais du pack de développeurs d'étudiants GitHub (source)

Création d'un codeppace

Si vous souhaitez enregistrer vos solutions, créez une fourchette, créez un codepace à partir de votre propre référentiel, vous pourrez utiliser Git pour enregistrer vos modifications comme d'habitude.

Créez un codepace en utilisant les instructions ci-dessous ou ici

Sélectionner le code -> Onglet Codespaces -> L'icône + -> Nouveau avec des options

Ou cliquez ici

Sélectionnez la configuration de la leçon sur laquelle vous êtes sur, et après avoir frappé, créez un codepace

VS Code Editor s'ouvrira dans le navigateur et démarrera tous les programmes nécessaires à l'activité!

Nettoyage

Après avoir terminé chaque leçon, vous pouvez visiter le menu GitHub Codespaces et supprimer l'espace de code pour que vous ne soyez pas facturé pendant que vous ne l'utilisez pas.

Supprimer un codespace avec les 3 points -> Supprimer

Cela supprimera toutes les modifications que vous avez apportées

Remarque: Si vous aimez les codes GitHub, envisagez de consulter mon cours d'apprentissage LinkedIn de 30 minutes sur les codes, vous pouvez obtenir un accès gratuit 24h via mon article LinkedIn et n'hésitez pas à envoyer une demande de connexion pendant que vous êtes là-bas?

Avec Docker

Exécutez docker-compose up dans un répertoire de leçon, lorsqu'il indique que Development Server a commencé à ouvrir localhost:3000 dans votre navigateur pour vérifier que cela fonctionne correctement.

Une fois terminé avec cette leçon, vous pouvez control + c pour arrêter vos conteneurs Docker.

Nettoyage

Avec Docker Desktop

1. Accédez à l'onglet Conteneurs sur le côté, trouvez la leçon que vous souhaitez supprimer et cliquez sur l'icône de la trash pour le supprimer.
2. Accédez à l'onglet Images sur le côté, trouvez les images en commençant par le nom du cours pour supprimer et appuyez sur la poubelle.

Avec ligne de commande

1. Pour supprimer les conteneurs, docker rm $(docker ps -a -q --filter name=XXX) , où xxx est le numéro de leçon que vous souhaitez supprimer (ex: 001).
2. Pour supprimer les images, docker rmi $(docker images --filter label=lesson.number=X -a -q) , où x est le nombre que vous souhaitez supprimer (ex: 1, ex: 10)