kaggle_downloader_package

Kaggledownloader

KaggleDownloader是一個Python類，旨在與Kaggle進行交互，使用戶能夠對數據集進行身份驗證，搜索，下載和提取數據集。該類可以在Jupyter筆記本電腦中或通過命令行進行交互式使用。

先決條件

在使用KaggleDownloader類之前，請確保您有：

• Kaggle API令牌，可從您的Kaggle帳戶“ API”（https://www.kaggle.com/settings）獲得。
• 安裝了Python 3.x。

第1節：在Jupyter筆記本中使用Kaggledownloader

您可以直接在Jupyter筆記本中導入並使用KaggleDownloader 。以下是使用類方法對數據集進行身份驗證和下載數據集的逐步指南。

1.1示例代碼

 import kaggle_downloader as kd  # Assuming you've saved the class in kaggle_downloader.py
import pandas as pd

# Initialize KaggleDownloader
downloader = kd . KaggleDownloader ( api_token_path = "./kaggle.json" )

# Authenticate with Kaggle API
downloader . authenticate_kaggle ()

# Search for datasets related to a theme
downloader . search_datasets ( "netflix" )

# Download a specific dataset by its slug
downloader . download_dataset ( "shivamb/netflix-shows" )

df = pd . read_csv ( "./netflix_titles.csv" , delimiter = ',' , encoding = "utf-8" , encoding_errors = "replace" )
df . head ()

1.2可用方法

• get_api_token_path() ：返回到主Kaggle API代幣文件的路徑。
• get_alternative_token_path() ：返回替代Kaggle API代幣文件的路徑。
• get_path_downloads() ：返回下載目錄路徑。
• set_api_token_path(new_path) ：設置Kaggle API令牌的新路徑。
• set_alternative_token_path(new_path) ：為替代Kaggle API令牌設置新路徑。
• set_path_downloads(new_path) ：設置下載數據集的新路徑。
• authenticate_kaggle() ：通過從令牌文件中加載憑據，使用Kaggle API進行身份驗證。
• authenticate_with_credentials() ：提示用戶手動輸入Kaggle憑據並將其保存到文件中。
• search_datasets(dataset_theme) ：搜索與給定關鍵字或主題相匹配的數據集。
• download_dataset(dataset_slug) ：從kaggle下載到指定目錄的數據集。
• extract_zip(zip_file) ：將下載的zip文件提取到下載目錄。
• check_kaggle_json() ：檢查Kaggle API令牌文件是否存在於主路徑或替代路徑上。
• create_download_directory(path) ：創建將保存數據集的目錄（如果尚不存在）。

第2節：通過命令行接口（CLI）使用Kaggledownloader

另外，您可以通過命令行使用KaggleDownloader類。 main()方法允許用戶通過將數據集slug作為參數指定來運行類並下載數據集。

2.1示例CLI用法

1. 首先，確保您的腳本可執行：

   chmod +x kaggle_downloader.py

2. 使用以下命令從Kaggle下載數據集：

   python kaggle_downloader_package/kaggle_downloader.py benroshan/ecommerce-data

這將使用Kaggle（基於您的kaggle.json令牌文件）進行身份驗證，然後將數據集下載到path_downloads中指定的目錄（或默認情況下的當前工作目錄）。

2.2 CLI參數

• dataset_slug ：您要下載的Kaggle DataSet標識符（SLUG），例如benroshan/ecommerce-data 。

筆記

• 確保您有一個Kaggle API令牌（ kaggle.json ）。
• 如果未使用默認值，您可以指定替代令牌路徑。
• 如果您希望手動上傳您的Kaggle用戶名和密鑰，我們的Kaggledownloader會要求它們，因為它找不到kaggle.json文件。
• 如果將大型數據集下載為zip文件，將自動解壓縮。
• CLI界面將解析論點並為無縫體驗援引必要的功能。

自定義：

• 如果不同的話，將kaggle_downloader.py替換為實際文件名。
• 如果您以不同的方式組織代碼，請調整類導入路徑（ from kaggle_downloader import KaggleDownloader ）。

貢獻

隨意通過在GitHub上提交問題，功能請求或提取請求來為該項目做出貢獻。

執照

該項目已根據MIT許可獲得許可。有關詳細信息，請參見LICENSE文件。

作者

Mariano Gobea Alcoba
電子郵件：[email protected]