kaggle_downloader_package ดาวน์โหลด - kaggle_downloader_package ซอร์สโค้ดดาวน์โหลดดาวน์โหลด

kaggle_downloader_package

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

Kaggledownloader

KaggleDownloader เป็นคลาส Python ที่ออกแบบมาเพื่อโต้ตอบกับ Kaggle ช่วยให้ผู้ใช้สามารถตรวจสอบสิทธิ์ค้นหาดาวน์โหลดและแยกชุดข้อมูล คลาสสามารถใช้ทั้งแบบโต้ตอบในสมุดบันทึก Jupyter หรือผ่านบรรทัดคำสั่ง

ข้อกำหนดเบื้องต้น

ก่อนที่จะใช้คลาส KaggleDownloader ตรวจสอบให้แน่ใจว่าคุณมี:

โทเค็น Kaggle API ที่มีให้จากบัญชี Kaggle ของคุณภายใต้ "API" (https://www.kaggle.com/settings)
Python 3.x ติดตั้ง

ส่วนที่ 1: การใช้ KaggleDownloader ในสมุดบันทึก Jupyter

คุณสามารถนำเข้าและใช้ KaggleDownloader โดยตรงภายในสมุดบันทึก Jupyter ด้านล่างเป็นคู่มือทีละขั้นตอนในการตรวจสอบสิทธิ์และดาวน์โหลดชุดข้อมูลโดยใช้วิธีการเรียน

1.1 ตัวอย่างรหัส

 import kaggle_downloader as kd  # Assuming you've saved the class in kaggle_downloader.py
import pandas as pd

# Initialize KaggleDownloader
downloader = kd . KaggleDownloader ( api_token_path = "./kaggle.json" )

# Authenticate with Kaggle API
downloader . authenticate_kaggle ()

# Search for datasets related to a theme
downloader . search_datasets ( "netflix" )

# Download a specific dataset by its slug
downloader . download_dataset ( "shivamb/netflix-shows" )

df = pd . read_csv ( "./netflix_titles.csv" , delimiter = ',' , encoding = "utf-8" , encoding_errors = "replace" )
df . head ()

1.2 วิธีที่มีอยู่

get_api_token_path() : ส่งคืนเส้นทางไปยังไฟล์โทเค็น Kaggle API หลัก
get_alternative_token_path() : ส่งคืนเส้นทางไปยังไฟล์โทเค็น Kaggle API ทางเลือก
get_path_downloads() : ส่งคืนเส้นทางการดาวน์โหลดไดเรกทอรี
set_api_token_path(new_path) : ตั้งค่าเส้นทางใหม่สำหรับโทเค็น Kaggle API
set_alternative_token_path(new_path) : ตั้งเส้นทางใหม่สำหรับโทเค็น Kaggle API ทางเลือก
set_path_downloads(new_path) : ตั้งค่าเส้นทางใหม่สำหรับชุดข้อมูลที่ดาวน์โหลด
authenticate_kaggle() : รับรองความถูกต้องกับ Kaggle API โดยการโหลดข้อมูลรับรองจากไฟล์โทเค็น
authenticate_with_credentials() : แจ้งให้ผู้ใช้ป้อนข้อมูลรับรอง Kaggle ด้วยตนเองและบันทึกไว้ในไฟล์ด้วยตนเอง
search_datasets(dataset_theme) : ค้นหา kaggle สำหรับชุดข้อมูลที่ตรงกับคำหลักหรือธีมที่กำหนด
download_dataset(dataset_slug) : ดาวน์โหลดชุดข้อมูลจาก Kaggle ไปยังไดเรกทอรีที่ระบุ
extract_zip(zip_file) : แยกไฟล์ซิปที่ดาวน์โหลดไปยังไดเรกทอรีดาวน์โหลด
check_kaggle_json() : ตรวจสอบว่าไฟล์โทเค็น Kaggle API มีอยู่ที่เส้นทางหลักหรือทางเลือกหรือไม่
create_download_directory(path) : สร้างไดเรกทอรีที่ชุดข้อมูลจะถูกบันทึกหากไม่มีอยู่แล้ว

ส่วนที่ 2: การใช้ KaggleDownloader ผ่านอินเตอร์เฟสบรรทัดคำสั่ง (CLI)

หรือคุณสามารถใช้คลาส KaggleDownloader ผ่านบรรทัดคำสั่ง วิธีการ main() อนุญาตให้ผู้ใช้เรียกใช้คลาสและดาวน์โหลดชุดข้อมูลโดยการระบุชุดข้อมูลเป็นอาร์กิวเมนต์

2.1 ตัวอย่างการใช้ CLI

ก่อนอื่นให้แน่ใจว่าสคริปต์ของคุณสามารถดำเนินการได้:
```
chmod +x kaggle_downloader.py
```
ใช้คำสั่งต่อไปนี้เพื่อดาวน์โหลดชุดข้อมูลจาก Kaggle:
```
python kaggle_downloader_package/kaggle_downloader.py benroshan/ecommerce-data
```

สิ่งนี้จะรับรองความถูกต้องด้วย kaggle (ขึ้นอยู่กับไฟล์ kaggle.json token ของคุณ) และดาวน์โหลดชุดข้อมูลไปยังไดเรกทอรีที่ระบุใน path_downloads (หรือไดเรกทอรีการทำงานปัจจุบันโดยค่าเริ่มต้น)

2.2 ข้อโต้แย้ง CLI

dataset_slug : ตัวระบุชุดข้อมูล Kaggle (Slug) ที่คุณต้องการดาวน์โหลดเช่น benroshan/ecommerce-data

หมายเหตุ

ตรวจสอบให้แน่ใจว่าคุณมีโทเค็น Kaggle API ในสถานที่ ( kaggle.json )
คุณสามารถระบุเส้นทางโทเค็นทางเลือกในกรณีที่ไม่ได้ใช้เส้นทางเริ่มต้น
หากคุณต้องการอัปโหลดชื่อผู้ใช้และคีย์ Kaggle ด้วยตนเองของคุณด้วยตนเอง KaggleDownloader ของเราจะขอพวกเขาเนื่องจากไม่สามารถหาไฟล์ kaggle.json ได้
ชุดข้อมูลขนาดใหญ่จะถูกคลายซิปโดยอัตโนมัติหากดาวน์โหลดเป็นไฟล์ ZIP
อินเทอร์เฟซ CLI จะแยกวิเคราะห์อาร์กิวเมนต์และเรียกใช้ฟังก์ชั่นที่จำเป็นสำหรับประสบการณ์ที่ราบรื่น

การปรับแต่ง:

แทนที่ kaggle_downloader.py ด้วยชื่อไฟล์จริงหากแตกต่างกัน
ปรับเส้นทางการนำเข้าคลาส ( from kaggle_downloader import KaggleDownloader ) หากคุณจัดระเบียบรหัสของคุณแตกต่างกัน