RobotCarDataset Scraper

Введение

Этот скрипт можно использовать для выполнения последовательных загрузок различных журналов датчиков для Robotcar-dataset https://robotcar-dataset.robots.ox.ac.uk/.

Код тестируется для Python3 на Ubuntu 16.04.

Начиная

Предварительное изображение Docker доступно с:

docker pull matthewgadd/robotcar-dataset-scraper:latest

В противном случае вы можете построить изображение Docker с нуля:

wget https://raw.githubusercontent.com/matthewgadd/RobotCarDataset-Scraper/master/Dockerfile
docker build -t matthewgadd/robotcar-dataset-scraper:latest .

Пример использования

Установите свои загрузки в Docker Image:

docker run --rm -it -w /RobotCarDataset-Scraper -v $HOME /Downloads:/Downloads matthewgadd/robotcar-dataset-scraper:latest

Сценарий

python get_datasets.py

Подготовка HTML для полного списка наборов данных и сокрасневает каждую страницу набора данных и получает доступные файлы (смолу) для загрузки. С примером output file datasets.csv, вы должны запустить:

python scrape_mrgdatashare.py --downloads_dir /Downloads --datasets_file datasets.csv --username USERNAME --password PASSWORD

Если вам не нужен полный набор данных, вы можете использовать --choice_sensors и параметры --choice_runs_file , чтобы загрузить части набора данных по вашим собственным потребностям.

• --choice_sensors опция может получить несколько имен датчиков в tags, stereo_centre, stereo_left, stereo_right, vo, mono_left, mono_right, mono_rear, lms_front, lms_rear, ldmrs, gps, all.
• --choice_runs_file .txt example_list.txt

Например, вы можете скачать данные «stero_centre», «Vo» и «lms_front» «2014-05-19-13-20-57» и «2014-06-26-09-31-18» по следующей команде:

python scrape_mrgdatashare.py --choice_sensors stereo_centre,vo,lms_front --choice_runs_file example_list.txt --downloads_dir /Downloads --datasets_file datasets.csv --username USERNAME --password PASSWORD