RobotCarDataset Scraper

Introdução

Este script pode ser usado para executar downloads sequenciados de vários logs de sensores para o robotcar-dataset https://robotcar-dataset.robots.ox.ac.uk/.

O código é testado para Python3 no Ubuntu 16.04.

Começando

Uma imagem do Docker pré -construída está disponível com:

docker pull matthewgadd/robotcar-dataset-scraper:latest

Caso contrário, você pode construir a imagem do Docker a partir do zero:

wget https://raw.githubusercontent.com/matthewgadd/RobotCarDataset-Scraper/master/Dockerfile
docker build -t matthewgadd/robotcar-dataset-scraper:latest .

Exemplo de uso

Monte seus downloads dir através da imagem do Docker:

docker run --rm -it -w /RobotCarDataset-Scraper -v $HOME /Downloads:/Downloads matthewgadd/robotcar-dataset-scraper:latest

O script

python get_datasets.py

Paresia o HTML para a listagem completa do conjunto de dados e raspa cada página do conjunto de dados e recupera os arquivos disponíveis (TAR) para download. Com o exemplo de dados de saída de dados de dados de dados.csv, você deve executar:

python scrape_mrgdatashare.py --downloads_dir /Downloads --datasets_file datasets.csv --username USERNAME --password PASSWORD

Se você não precisar do conjunto de dados completo, poderá usar -Opções de --choice_sensors e --choice_runs_file para baixar partes do conjunto de dados em suas próprias necessidades.

• -O opção --choice_sensors pode receber vários nomes de sensores em tags, stereo_centre, stereo_left, stereo_right, vo, mono_left, mono_right, mono_rear, lms_front, lms_rear, ldmrs, gps, all.
• --choice_runs_file Opção Receba um arquivo .txt que contém os nomes das execuções que você deseja baixar. Fornecemos um exemplo de arquivo de arquivo filea example_list.txt .

Por exemplo, você pode baixar dados "stereo_centre", "vo" e "lms_front" de "2014-05-19-13-20-57" e "2014-06-26-09-31-18" pelo seguinte comando:

python scrape_mrgdatashare.py --choice_sensors stereo_centre,vo,lms_front --choice_runs_file example_list.txt --downloads_dir /Downloads --datasets_file datasets.csv --username USERNAME --password PASSWORD