autoscraper

Autoscraper: Ein intelligenter, automatischer, schneller und leichter Webschaber für Python

Dieses Projekt ist für automatisches Web -Scraping durchgeführt, um das Scraping zu vereinfachen. Es erhält eine URL oder den HTML -Inhalt einer Webseite und eine Liste von Beispieldaten, die wir von dieser Seite abkratzen möchten. Diese Daten können Text, URL oder einen beliebigen HTML -Tag -Wert dieser Seite sein. Es lernt die Kratzerregeln und gibt die ähnlichen Elemente zurück. Dann können Sie dieses gelernte Objekt mit neuen URLs verwenden, um ähnliche Inhalte oder genau das gleiche Element dieser neuen Seiten zu erhalten.

Installation

Es ist mit Python 3 kompatibel.

• Installieren Sie die neueste Version vom Git -Repository mit PIP:

$ pip install git+https://github.com/alirezamika/autoscraper.git

• Installieren Sie von PYPI:

$ pip install autoscraper

• Aus Quelle installieren:

$ python setup.py install

Wie man benutzt

Ähnliche Ergebnisse erzielen

Sagen Sie, wir möchten alle verwandten Post -Titel auf einer Stackoverflow -Seite abrufen:

 from autoscraper import AutoScraper

url = 'https://stackoverflow.com/questions/2081586/web-scraping-with-python'

# We can add one or multiple candidates here.
# You can also put urls here to retrieve urls.
wanted_list = [ "What are metaclasses in Python?" ]

scraper = AutoScraper ()
result = scraper . build ( url , wanted_list )
print ( result )

Hier ist die Ausgabe:

[
    'How do I merge two dictionaries in a single expression in Python (taking union of dictionaries)?' , 
    'How to call an external command?' , 
    'What are metaclasses in Python?' , 
    'Does Python have a ternary conditional operator?' , 
    'How do you remove duplicates from a list whilst preserving order?' , 
    'Convert bytes to a string' , 
    'How to get line count of a large file cheaply in Python?' , 
    "Does Python have a string 'contains' substring method?" , 
    'Why is “1000000000000000 in range(1000000000000001)” so fast in Python 3?'
]

Jetzt können Sie das scraper -Objekt verwenden, um verwandte Themen jeder Stackoverflow -Seite zu erhalten:

 scraper . get_result_similar ( 'https://stackoverflow.com/questions/606191/convert-bytes-to-a-string' )

Genaues Ergebnis erhalten

Sagen Sie, wir wollen Live -Aktienkurse aus Yahoo Finance kratzen:

 from autoscraper import AutoScraper

url = 'https://finance.yahoo.com/quote/AAPL/'

wanted_list = [ "124.81" ]

scraper = AutoScraper ()

# Here we can also pass html content via the html parameter instead of the url (html=html_content)
result = scraper . build ( url , wanted_list )
print ( result )

Beachten Sie, dass Sie die wanted_list aktualisieren sollten, wenn Sie diesen Code kopieren möchten, da sich der Inhalt der Seite dynamisch ändert.

Sie können auch den Parameter Modul für benutzerdefinierte requests übergeben. Sie möchten beispielsweise Proxies oder benutzerdefinierte Header verwenden:

 proxies = {
    "http" : 'http://127.0.0.1:8001' ,
    "https" : 'https://127.0.0.1:8001' ,
}

result = scraper . build ( url , wanted_list , request_args = dict ( proxies = proxies ))

Jetzt können wir den Preis eines beliebigen Symbols erhalten:

 scraper . get_result_exact ( 'https://finance.yahoo.com/quote/MSFT/' )

Möglicherweise möchten Sie auch andere Informationen erhalten. Wenn Sie beispielsweise auch die Marktkapitalisierung erhalten möchten, können Sie sie einfach an die gewünschte Liste anhängen. Durch die Verwendung der Methode get_result_exact werden die Daten in der gewünschten Liste als genau die gleiche Reihenfolge abgerufen.

Ein weiteres Beispiel: Sagen Sie, wir möchten den über Text, die Anzahl der Sterne und den Link zu Problemen von Github -Repo -Seiten kratzen:

 from autoscraper import AutoScraper

url = 'https://github.com/alirezamika/autoscraper'

wanted_list = [ 'A Smart, Automatic, Fast and Lightweight Web Scraper for Python' , '6.2k' , 'https://github.com/alirezamika/autoscraper/issues' ]

scraper = AutoScraper ()
scraper . build ( url , wanted_list )

Einfach, richtig?

Speichern des Modells

Wir können jetzt das gebaute Modell speichern, um es später zu verwenden. Zu sparen:

 # Give it a file path
scraper . save ( 'yahoo-finance' )

Und laden:

 scraper . load ( 'yahoo-finance' )

Tutorials

• Sehen Sie sich diesen Kern für fortgeschrittenere Verwendung an.
• Autoscraper und Flask: Erstellen Sie in weniger als 5 Minuten eine API von jeder Website

Probleme

Fühlen Sie sich frei, ein Problem zu öffnen, wenn Sie mit dem Modul Probleme haben.

Unterstützen Sie das Projekt

Glückliche Codierung ♥ ️