RobotCarDataset Scraper

Introducción

Este script se puede usar para realizar descargas secuenciadas de varios registros de sensores para el robotcar-dataset https://robotcar-dataset.robots.ox.ac.uk/.

El código se prueba para Python3 en Ubuntu 16.04.

Empezando

Una imagen de Docker prebuilt está disponible con:

docker pull matthewgadd/robotcar-dataset-scraper:latest

De lo contrario, puede construir la imagen Docker desde cero:

wget https://raw.githubusercontent.com/matthewgadd/RobotCarDataset-Scraper/master/Dockerfile
docker build -t matthewgadd/robotcar-dataset-scraper:latest .

Uso de ejemplo

Monte sus descargas Dir a través de la imagen de Docker:

docker run --rm -it -w /RobotCarDataset-Scraper -v $HOME /Downloads:/Downloads matthewgadd/robotcar-dataset-scraper:latest

El guión

python get_datasets.py

analiza el HTML para el conjunto de datos completo en la lista y raspa cada página del conjunto de datos y recupera los archivos disponibles (TAR) para descargar. Con el ejemplo de DataSets.CSV de archivo de salida proporcionados, debe ejecutar:

python scrape_mrgdatashare.py --downloads_dir /Downloads --datasets_file datasets.csv --username USERNAME --password PASSWORD

Si no necesita el conjunto de datos completo, puede usar --choice_sensors y --choice_runs_file Opciones para descargar partes del conjunto de datos en sus propias necesidades.

• La opción --choice_sensors puede recibir múltiples nombres de sensores en tags, stereo_centre, stereo_left, stereo_right, vo, mono_left, mono_right, mono_rear, lms_front, lms_rear, ldmrs, gps, all.
• --choice_runs_file Opción Recibe un archivo .txt que contiene los nombres de las ejecuciones que desea descargar, proporcionamos un ejemplo de archivo de muestra de FileA, example_list.txt .

Por ejemplo, puede descargar datos "Stereo_Centre", "VO" y "LMS_FRONT" de "2014-05-19-13-20-57" y "2014-06-26-09-31-18" por el siguiente comando:

python scrape_mrgdatashare.py --choice_sensors stereo_centre,vo,lms_front --choice_runs_file example_list.txt --downloads_dir /Downloads --datasets_file datasets.csv --username USERNAME --password PASSWORD