RobotCarDataset Scraper

Introduction

Ce script peut être utilisé pour effectuer des téléchargements séquencés de divers journaux de capteurs pour le robotcar-dataset https://robotcar-dataset.robots.ox.ac.uk/.

Le code est testé pour Python3 sur Ubuntu 16.04.

Commencer

Une image Docker préfère est disponible avec:

docker pull matthewgadd/robotcar-dataset-scraper:latest

Sinon, vous pouvez construire l'image Docker à partir de zéro:

wget https://raw.githubusercontent.com/matthewgadd/RobotCarDataset-Scraper/master/Dockerfile
docker build -t matthewgadd/robotcar-dataset-scraper:latest .

Exemple d'utilisation

Montez vos téléchargements DIR via l'image Docker:

docker run --rm -it -w /RobotCarDataset-Scraper -v $HOME /Downloads:/Downloads matthewgadd/robotcar-dataset-scraper:latest

Le script

python get_datasets.py

Analyse le HTML pour la liste complète de l'ensemble de données et gratte chaque page de jeu de données et récupère les fichiers disponibles (TAR) pour le téléchargement. Avec l'exemple de données de sortie de données.csv fournies, vous devez ensuite exécuter:

python scrape_mrgdatashare.py --downloads_dir /Downloads --datasets_file datasets.csv --username USERNAME --password PASSWORD

Si vous n'avez pas besoin de l'ensemble de données complet, vous pouvez utiliser les options --choice_sensors et --choice_runs_file pour télécharger des pièces de l'ensemble de données sur vos propres besoins.

• --choice_sensors peut recevoir plusieurs noms de capteurs dans tags, stereo_centre, stereo_left, stereo_right, vo, mono_left, mono_right, mono_rear, lms_front, lms_rear, ldmrs, gps, all.
• --choice_runs_file Option Recevoir un fichier .txt qui contient les noms des exécutions que vous souhaitez télécharger, nous fournissons un exemple d'exemple d'exemple de fichier example_list.txt .

Par exemple, vous pouvez télécharger les données "stereo_centre", "vo" et "lms_front" de "2014-05-19-13-20-57" et "2014-06-26-09-31-18" par la commande suivante:

python scrape_mrgdatashare.py --choice_sensors stereo_centre,vo,lms_front --choice_runs_file example_list.txt --downloads_dir /Downloads --datasets_file datasets.csv --username USERNAME --password PASSWORD