RobotCarDataset Scraper

Perkenalan

Skrip ini dapat digunakan untuk melakukan unduhan berurutan dari berbagai log sensor untuk Robotcar-Dataset https://robotcar-dataset.robots.ox.ac.uk/.

Kode ini diuji untuk Python3 pada Ubuntu 16.04.

Memulai

Gambar Docker Prebuilt tersedia dengan:

docker pull matthewgadd/robotcar-dataset-scraper:latest

Jika tidak, Anda dapat membangun gambar Docker dari awal:

wget https://raw.githubusercontent.com/matthewgadd/RobotCarDataset-Scraper/master/Dockerfile
docker build -t matthewgadd/robotcar-dataset-scraper:latest .

Contoh penggunaan

Pasang unduhan Anda Dir melalui gambar Docker:

docker run --rm -it -w /RobotCarDataset-Scraper -v $HOME /Downloads:/Downloads matthewgadd/robotcar-dataset-scraper:latest

Skrip

python get_datasets.py

Parse HTML untuk daftar dataset lengkap dan goresan setiap halaman dataset dan ambil file yang tersedia (TAR) untuk diunduh. Dengan dataset file output contoh yang disediakan, Anda kemudian harus menjalankan:

python scrape_mrgdatashare.py --downloads_dir /Downloads --datasets_file datasets.csv --username USERNAME --password PASSWORD

Jika Anda tidak memerlukan dataset lengkap, Anda dapat menggunakan --choice_sensors dan --choice_runs_file opsi untuk mengunduh bagian dari dataset sesuai kebutuhan Anda sendiri.

• --choice_sensors Opsi dapat menerima beberapa nama sensor dalam tags, stereo_centre, stereo_left, stereo_right, vo, mono_left, mono_right, mono_rear, lms_front, lms_rear, ldmrs, gps, all.
• --choice_runs_file Opsi menerima file .txt yang berisi nama-nama menjalankan yang ingin Anda unduh, kami memberikan contoh file sampel Filea example_list.txt .

Misalnya Anda dapat mengunduh data "Stereo_Centre", "Vo" dan "LMS_FRONT" dari "2014-05-19-13-20-57" dan "2014-06-26-09-31-18" oleh perintah berikut:

python scrape_mrgdatashare.py --choice_sensors stereo_centre,vo,lms_front --choice_runs_file example_list.txt --downloads_dir /Downloads --datasets_file datasets.csv --username USERNAME --password PASSWORD