hltb scraper
1.0.0
Eine Webspinne, die Howlongtobeat kriecht, um Spiel- und Abschlusszeitdaten zu extrahieren.
Ein großes Dankeschön an Howlongtobeat für die Bereitstellung eines so großartigen Service mit solch reichhaltigen Daten. Entschuldigung für das Kratzen!
HowlongTobeat (HLTB) ist eine großartige Website, um Zeiten zu entdecken, die die Leute für die Fertigstellung von Spielen nehmen. Während es mit Daten reif ist, fehlt es leider eine API. Dieses Projekt kratzt alle bekannten Spiele (zum Zeitpunkt des Schreibens) auf der Website und extrahiert die Spieldaten sowie alle vorhandenen Abschlusseinträge.
Dieses Projekt ist Teil meines Unternehmens in die Welt der Datenwissenschaft.
Der HLTB_Game_Spider in hltb-game.py kratzt alle Spiele, die über die Suchfunktion der Website verfügbar sind. Die HLTB_Completions_Spider in hltb-completions.py kratzt alle vom Benutzer eingereichten Abschlusseinträge für jedes desselben Spiels (obwohl einige keine Einträge haben und daher fehlen).
Die Spalten von HLTB_Game_Spider extrahieren (Post-Cleaning):
id - Spiele -ID von der Website.title - Spielname.main_story - Durchschnittliche Abschlusszeit der 'Hauptgeschichte' in Stunden.main_plus_extras - Durchschnittliche Abschlusszeit von 'Main + Extras' in Stunden.completionist - Durchschnittliche Abschlusszeit des 'Fertigstellungsleiters' in Stunden.all_styles - Durchschnittliche Abschlusszeit von 'allen Stilen' in Stunden.coop - Durchschnittliche Abschlusszeit von 'Co -op' in Stunden.versus - durchschnittliche Abschlusszeit von 'vs.' in Stunden.type - Typeintrag zum Unterschied von DLC/Expansion , Mod und ROM Hack von regulären Spieleinträgen.developers - Komma -Raum -getrennte Liste aller Entwickler eines Eintrags.publishers - Komma -Space Trennte Liste aller Verlage eines Eintrags.platforms - Comma -Space -Trennungsliste aller Plattformen, auf denen ein Eintrag verfügbar ist.genres - Komma -getrennte Liste von Genres für einen Eintrag.release_na - Erscheinungsdatum in Nordamerika (falls verfügbar).release_eu - Erscheinungsdatum in Europa (falls verfügbar).release_jp - Erscheinungsdatum in Japan (falls verfügbar). Die Spalten HLTB_Completions_Spider extrahieren (Post-Cleaning):
id - Game -ID , die mit dem obigen Datensatz gekreuzt werden kann .type - Art der Abschlusseingabe ( Main Story , Main + Extras , Completionists , Co-Op Multiplayer , Speed Run - Any% , Speed Run - 100% ).platform - Plattform Der jeweilige Eintrag wurde abgeschlossen.time - Zeit des Eintritts in Stunden und Minuten (z. B. 2hr 50m ).
