RobotCarDataset Scraper

Einführung

Dieses Skript kann verwendet werden, um sequenzierte Downloads verschiedener Sensorenprotokolle für die Robotcar-Dataset https://robotcar-dataset.robots.ox.ac.uk/ durchzuführen.

Der Code wird auf Ubuntu 16.04 für Python3 getestet.

Erste Schritte

Ein vorgebaues Docker -Bild ist mit:

docker pull matthewgadd/robotcar-dataset-scraper:latest

Andernfalls können Sie das Docker -Bild von Grund auf neu erstellen:

wget https://raw.githubusercontent.com/matthewgadd/RobotCarDataset-Scraper/master/Dockerfile
docker build -t matthewgadd/robotcar-dataset-scraper:latest .

Beispiel Verwendung

Mounten Sie Ihre Downloads Dir Dir über das Docker -Bild:

docker run --rm -it -w /RobotCarDataset-Scraper -v $HOME /Downloads:/Downloads matthewgadd/robotcar-dataset-scraper:latest

Das Skript

python get_datasets.py

Analysiert die HTML für die vollständige Datensatzliste und kratzt jede Datensatzseite und ruft die verfügbaren Dateien (TAR) zum Download ab. Mit den Beispielausgaben -Dateidatensätzen.csv sollten Sie dann ausführen:

python scrape_mrgdatashare.py --downloads_dir /Downloads --datasets_file datasets.csv --username USERNAME --password PASSWORD

Wenn Sie den vollständigen Datensatz nicht benötigen, können Sie --choice_sensors und --choice_runs_file -Optionen verwenden, um Teile des Datensatzes nach Ihren eigenen Anforderungen herunterzuladen.

• --choice_sensors Option kann mehrere Sensornamen in tags, stereo_centre, stereo_left, stereo_right, vo, mono_left, mono_right, mono_rear, lms_front, lms_rear, ldmrs, gps, all.
• --choice_runs_file Option Empfangen Sie eine .txt Datei, die die Namen der Runs enthält, die Sie herunterladen möchten example_list.txt

Zum Beispiel können Sie "Stereo_Centre", "VO" und "LMS_FRONT" -Daten von "2014-05-19-13-20-57" und "2014-06-26-09-31-18" durch den folgenden Befehl herunterladen:

python scrape_mrgdatashare.py --choice_sensors stereo_centre,vo,lms_front --choice_runs_file example_list.txt --downloads_dir /Downloads --datasets_file datasets.csv --username USERNAME --password PASSWORD