kaggle_downloader_package скачать - kaggle_downloader_package исходный код скачать

kaggle_downloader_package

AI Исходный код

1.0.0

Скачать

Kaggledownloader

KaggleDownloader - это класс Python, предназначенный для взаимодействия с Kaggle, позволяя пользователям аутентифицировать, поиск, загрузку и извлечение наборов данных. Класс может использоваться как интерактивно в ноутбуках Jupyter, либо через командную строку.

Предварительные условия

Перед использованием класса KaggleDownloader , убедитесь, что у вас есть:

Токен API Kaggle, доступный из вашей учетной записи Kaggle в разделе «API» (https://www.kaggle.com/settings).
Python 3.x установлен.

Раздел 1: Использование загрузчика Kaggledown в ноутбуке Юпитера

Вы можете импортировать и использовать KaggleDownloader непосредственно в ноутбуке Jupyter. Ниже приведено пошаговое руководство по аутентификации и загрузке наборов данных с использованием методов класса.

1.1 Пример кода

 import kaggle_downloader as kd  # Assuming you've saved the class in kaggle_downloader.py
import pandas as pd

# Initialize KaggleDownloader
downloader = kd . KaggleDownloader ( api_token_path = "./kaggle.json" )

# Authenticate with Kaggle API
downloader . authenticate_kaggle ()

# Search for datasets related to a theme
downloader . search_datasets ( "netflix" )

# Download a specific dataset by its slug
downloader . download_dataset ( "shivamb/netflix-shows" )

df = pd . read_csv ( "./netflix_titles.csv" , delimiter = ',' , encoding = "utf-8" , encoding_errors = "replace" )
df . head ()

1.2 Доступные методы

get_api_token_path() : возвращает путь к первичному файлу токена API Kaggle.
get_alternative_token_path() : возвращает путь к альтернативному файлу токена API kaggle.
get_path_downloads() : возвращает путь каталога загрузки.
set_api_token_path(new_path) : устанавливает новый путь для токена API Kaggle.
set_alternative_token_path(new_path) : устанавливает новый путь для альтернативного токена API Kaggle.
set_path_downloads(new_path) : устанавливает новый путь для загруженных наборов данных.
authenticate_kaggle() : аутентификации с API Kaggle, загрузив учетные данные из файла токена.
authenticate_with_credentials() : побуждает пользователя вручную ввести учетные данные Kaggle и сохраняет их в файл.
search_datasets(dataset_theme) : Поиск Kaggle для наборов данных, соответствующих данному ключевому слову или теме.
download_dataset(dataset_slug) : загружает набор данных от Kaggle в указанный каталог.
extract_zip(zip_file) : извлекает загруженный ZIP -файл в каталог загрузки.
check_kaggle_json() : проверяет, существует ли файл токена API kaggle API либо на первичном или альтернативном пути.
create_download_directory(path) : создает каталог, где будут сохранены наборы данных, если его еще не существует.

Раздел 2: Использование kaggledownloader через интерфейс командной строки (CLI)

В качестве альтернативы, вы можете использовать класс KaggleDownloader через командную строку. Метод main() позволяет пользователям запускать наборы данных класса и загружать, указав наборы данных в качестве аргумента.

2.1 Пример использования CLI

Во -первых, убедитесь, что ваш сценарий исполняется:
```
chmod +x kaggle_downloader.py
```
Используйте следующую команду, чтобы загрузить набор данных из Kaggle:
```
python kaggle_downloader_package/kaggle_downloader.py benroshan/ecommerce-data
```

Это будет аутентифицировать с Kaggle (на основе вашего файла токена kaggle.json ) и загрузить набор данных в каталог, указанный в path_downloads (или текущий рабочий каталог по умолчанию).

2.2 CLI аргументы

dataset_slug : идентификатор набора данных Kaggle (SLUG), который вы хотите скачать, например, benroshan/ecommerce-data .

Примечания

Убедитесь, что у вас есть токен API Kaggle ( kaggle.json ).
Вы можете указать альтернативные пути токена на случай, если по умолчанию не используется.
Если вы предпочитаете вручную загрузить свое имя пользователя и ключ Kaggle, наш Kaggledownloader будет спросить их, поскольку он не может найти файл kaggle.json.
Большие наборы данных будут автоматически неопубликованы, если они загружаются в виде файлов ZIP.
Интерфейс CLI будет проанализировать аргументы и вызывать необходимые функции для бесшовного опыта.

Настройка:

Замените kaggle_downloader.py с фактическим именем файла, если отличается.
Отрегулируйте путь импорта класса ( from kaggle_downloader import KaggleDownloader ), если вы организуете свой код по -разному.