autoscraper

AutoScraper: un grattoir Web intelligent, automatique, rapide et léger pour Python

Ce projet est conçu pour le grattage Web automatique pour faciliter le grattage. Il obtient une URL ou le contenu HTML d'une page Web et une liste d'exemples de données que nous voulons retirer de cette page. Ces données peuvent être du texte, de l'URL ou de toute valeur de balise HTML de cette page. Il apprend les règles de grattage et renvoie les éléments similaires. Ensuite, vous pouvez utiliser cet objet appris avec de nouvelles URL pour obtenir du contenu similaire ou exactement le même élément de ces nouvelles pages.

Installation

Il est compatible avec Python 3.

• Installez la dernière version du référentiel GIT à l'aide de PIP:

$ pip install git+https://github.com/alirezamika/autoscraper.git

• Installer à partir de PYPI:

$ pip install autoscraper

• Installation à partir de la source:

$ python setup.py install

Comment utiliser

Obtenir des résultats similaires

Disons que nous voulons récupérer tous les titres de publication connexes dans une page StackOverflow:

 from autoscraper import AutoScraper

url = 'https://stackoverflow.com/questions/2081586/web-scraping-with-python'

# We can add one or multiple candidates here.
# You can also put urls here to retrieve urls.
wanted_list = [ "What are metaclasses in Python?" ]

scraper = AutoScraper ()
result = scraper . build ( url , wanted_list )
print ( result )

Voici la sortie:

[
    'How do I merge two dictionaries in a single expression in Python (taking union of dictionaries)?' , 
    'How to call an external command?' , 
    'What are metaclasses in Python?' , 
    'Does Python have a ternary conditional operator?' , 
    'How do you remove duplicates from a list whilst preserving order?' , 
    'Convert bytes to a string' , 
    'How to get line count of a large file cheaply in Python?' , 
    "Does Python have a string 'contains' substring method?" , 
    'Why is “1000000000000000 in range(1000000000000001)” so fast in Python 3?'
]

Vous pouvez maintenant utiliser l'objet scraper pour obtenir des sujets connexes de n'importe quelle page StackOverflow:

 scraper . get_result_similar ( 'https://stackoverflow.com/questions/606191/convert-bytes-to-a-string' )

Obtenir un résultat exact

Dites que nous voulons gratter les cours des actions en direct de Yahoo Finance:

 from autoscraper import AutoScraper

url = 'https://finance.yahoo.com/quote/AAPL/'

wanted_list = [ "124.81" ]

scraper = AutoScraper ()

# Here we can also pass html content via the html parameter instead of the url (html=html_content)
result = scraper . build ( url , wanted_list )
print ( result )

Notez que vous devez mettre à jour le wanted_list si vous souhaitez copier ce code, car le contenu de la page change dynamiquement.

Vous pouvez également transmettre n'importe quel paramètre de module requests personnalisés. Par exemple, vous pouvez utiliser des proxys ou des en-têtes personnalisés:

 proxies = {
    "http" : 'http://127.0.0.1:8001' ,
    "https" : 'https://127.0.0.1:8001' ,
}

result = scraper . build ( url , wanted_list , request_args = dict ( proxies = proxies ))

Maintenant, nous pouvons obtenir le prix de n'importe quel symbole:

 scraper . get_result_exact ( 'https://finance.yahoo.com/quote/MSFT/' )

Vous voudrez peut-être également obtenir d'autres informations. Par exemple, si vous souhaitez également obtenir une capitalisation boursière, vous pouvez simplement l'ajouter à la liste des recherches. En utilisant la méthode get_result_exact , il récupérera les données comme le même ordre exact dans la liste recherchée.

Un autre exemple: disons que nous voulons gratter le texte sur le texte, le nombre d'étoiles et le lien vers les problèmes des pages de repo github:

 from autoscraper import AutoScraper

url = 'https://github.com/alirezamika/autoscraper'

wanted_list = [ 'A Smart, Automatic, Fast and Lightweight Web Scraper for Python' , '6.2k' , 'https://github.com/alirezamika/autoscraper/issues' ]

scraper = AutoScraper ()
scraper . build ( url , wanted_list )

Simple, non?

Sauver le modèle

Nous pouvons maintenant enregistrer le modèle construit pour l'utiliser plus tard. Pour économiser:

 # Give it a file path
scraper . save ( 'yahoo-finance' )

Et pour charger:

 scraper . load ( 'yahoo-finance' )

Tutoriels

• Voir cet Gist pour des usages plus avancés.
• AutoScraper et Flask: Créez une API à partir de n'importe quel site Web en moins de 5 minutes

Problèmes

N'hésitez pas à ouvrir un problème si vous avez un problème en utilisant le module.

Soutenir le projet

Codage heureux ♥ ️