sagemaker python sdk

Sagemaker Python SDK

Sagemaker Python SDK เป็นห้องสมุดโอเพนซอร์สสำหรับการฝึกอบรมและปรับใช้รูปแบบการเรียนรู้ของเครื่องใน Amazon Sagemaker

ด้วย SDK คุณสามารถฝึกอบรมและปรับใช้โมเดลโดยใช้กรอบการเรียนรู้ลึกที่เป็นที่นิยม Apache MxNet และ TensorFlow นอกจากนี้คุณยังสามารถฝึกอบรมและปรับใช้โมเดลด้วย อัลกอริทึม Amazon ซึ่งสามารถปรับขนาดได้ของอัลกอริทึมการเรียนรู้ของเครื่องหลักที่ปรับให้เหมาะสมสำหรับการฝึกอบรม Sagemaker และ GPU หากคุณมี อัลกอริทึมของคุณเอง ที่สร้างขึ้นในคอนเทนเนอร์ Docker ที่เข้ากันได้ของ Sagemaker คุณสามารถฝึกอบรมและโฮสต์โมเดลโดยใช้สิ่งเหล่านี้ได้เช่นกัน

สำหรับเอกสารโดยละเอียดรวมถึงการอ้างอิง API ดูอ่านเอกสาร

สารบัญ

1. การติดตั้ง Sagemaker Python SDK
2. ใช้ Sagemaker Python SDK
3. ใช้ mxNet
4. ใช้ tensorflow
5. ใช้เชนเชนเนอร์
6. ใช้ pytorch
7. ใช้ scikit-learn
8. ใช้ xgboost
9. ผู้ประมาณค่าการเรียนรู้การเสริมแรงของ Sagemaker
10. sagemaker sparkml เสิร์ฟ
11. ตัวประมาณค่าอัลกอริทึมในตัว Amazon Sagemaker
12. ใช้อัลกอริทึม Sagemaker
13. การบริโภคแพ็คเกจโมเดล Sagemaker
14. BYO Docker Containers พร้อมตัวประมาณ Sagemaker
15. การปรับแต่งโมเดลอัตโนมัติ Sagemaker
16. Sagemaker Batch Transform
17. การฝึกอบรมที่ปลอดภัยและการอนุมานด้วย VPC
18. รุ่น BYO
19. ท่ออนุมาน
20. ผู้ให้บริการ Amazon Sagemaker ใน Apache Airflow
21. Sagemaker Autopilot
22. การตรวจสอบแบบจำลอง
23. Sagemaker Debugger
24. การประมวลผล Sagemaker

การติดตั้ง Sagemaker Python SDK

Sagemaker Python SDK สร้างขึ้นเพื่อ PYPI และ Sagemaker Python SDK เวอร์ชันล่าสุดสามารถติดตั้งได้ด้วย PIP ดังนี้

 PIP ติดตั้ง sagemaker == <เวอร์ชันล่าสุดจาก PYPI จาก https://pypi.org/project/sagemaker/>

คุณสามารถติดตั้งจากแหล่งที่มาโดยการโคลนนิ่งที่เก็บนี้และเรียกใช้คำสั่ง PIP Install ในไดเรกทอรีรูทของที่เก็บ:

 git clone https://github.com/aws/sagemaker-python-sdk.git
CD Sagemaker-Python-SDK
ติดตั้ง PIP

ระบบปฏิบัติการที่รองรับ

Sagemaker Python SDK รองรับ Unix/Linux และ Mac

รุ่น Python ที่รองรับ

Sagemaker Python SDK ได้รับการทดสอบบน:

• Python 3.8
• Python 3.9
• Python 3.10
• Python 3.11

telemetry

sagemaker Library เปิดใช้งาน Telemetry เพื่อช่วยให้เราเข้าใจความต้องการของผู้ใช้ได้ดีขึ้นวินิจฉัยปัญหาและส่งมอบคุณสมบัติใหม่ telemetry นี้ติดตามการใช้งานฟังก์ชั่น sagemaker ต่างๆ

หากคุณต้องการที่จะยกเลิกการใช้ telemetry คุณสามารถทำได้อย่างง่ายดายโดยการตั้งค่าพารามิเตอร์ TelemetryOptOut เป็น true ในการกำหนดค่าเริ่มต้น SDK สำหรับคำแนะนำโดยละเอียดกรุณาเยี่ยมชมการกำหนดค่าและการใช้ค่าเริ่มต้นกับ Sagemaker Python SDK

การอนุญาต AWS

ในฐานะบริการที่มีการจัดการ Amazon Sagemaker ดำเนินการในนามของคุณในฮาร์ดแวร์ AWS ที่จัดการโดย Amazon Sagemaker Amazon Sagemaker สามารถดำเนินการเฉพาะที่ผู้ใช้อนุญาต คุณสามารถอ่านเพิ่มเติมเกี่ยวกับการอนุญาตที่จำเป็นในเอกสาร AWS

Sagemaker Python SDK ไม่ควรใช้สิทธิ์เพิ่มเติมใด ๆ นอกเหนือจากสิ่งที่จำเป็นสำหรับการใช้ Sagemaker อย่างไรก็ตามหากคุณใช้บทบาท IAM กับเส้นทางในนั้นคุณควรให้สิทธิ์แก่ iam:GetRole

การออกใบอนุญาต

Sagemaker Python SDK ได้รับใบอนุญาตภายใต้ใบอนุญาต Apache 2.0 เป็นลิขสิทธิ์ Amazon.com, Inc. หรือ บริษัท ในเครือ สงวนลิขสิทธิ์ ใบอนุญาตมีอยู่ที่: http://aws.amazon.com/apache2.0/

การทดสอบกำลังดำเนินการ

Sagemaker Python SDK มีการทดสอบหน่วยและการทดสอบการรวม

คุณสามารถติดตั้งไลบรารีที่จำเป็นในการเรียกใช้การทดสอบโดยเรียกใช้ pip install --upgrade .[test] หรือสำหรับผู้ใช้ ZSH: pip install --upgrade .[test]

การทดสอบหน่วย

เราเรียกใช้การทดสอบหน่วยด้วย TOX ซึ่งเป็นโปรแกรมที่ช่วยให้คุณเรียกใช้การทดสอบหน่วยสำหรับรุ่น Python หลายรุ่นและตรวจสอบให้แน่ใจว่ารหัสเหมาะกับแนวทางสไตล์ของเรา เราเรียกใช้ TOX ด้วยรุ่น Python ที่รองรับทั้งหมดของเราดังนั้นในการเรียกใช้การทดสอบหน่วยด้วยการกำหนดค่าเดียวกันกับที่เราทำคุณต้องมีล่ามสำหรับรุ่น Python เหล่านั้นที่ติดตั้ง

ในการเรียกใช้การทดสอบหน่วยด้วย TOX ให้เรียกใช้:

 การทดสอบ TOX/หน่วย

การทดสอบการรวม

ในการเรียกใช้การทดสอบการรวมต้องปฏิบัติตามข้อกำหนดเบื้องต้นต่อไปนี้

1. ข้อมูลรับรองบัญชี AWS มีอยู่ในสภาพแวดล้อมสำหรับลูกค้า Boto3 ที่จะใช้
2. บัญชี AWS มีบทบาท IAM ชื่อ SageMakerRole ควรมีนโยบายของ Amazonsagemakerfullaccess ที่แนบมารวมถึงนโยบายที่มีสิทธิ์ที่จำเป็นในการใช้การอนุมานแบบยืดหยุ่น

3. ในการเรียกใช้การทดสอบ Remote_Function ควรสร้าง repo dummy ECR สามารถสร้างได้โดยการวิ่ง -

   aws ecr create-repository --repository-name remote-function-dummy-container

เราขอแนะนำให้เรียกใช้การทดสอบการรวมที่คุณต้องการเรียกใช้ คุณสามารถกรองตามชื่อฟังก์ชั่นการทดสอบแต่ละรายการด้วย:

 Tox --k 'test_i_care_about'

นอกจากนี้คุณยังสามารถเรียกใช้การทดสอบการรวมทั้งหมดได้โดยเรียกใช้คำสั่งต่อไปนี้ซึ่งเรียกใช้ตามลำดับซึ่งอาจใช้เวลาสักครู่:

 TOX - การทดสอบ/integ

คุณยังสามารถเรียกใช้ในแบบคู่ขนาน:

 TOX --N การทดสอบอัตโนมัติ/จำนวนเต็ม

ตะขอ git

เพื่อเปิดใช้งาน hook git ทั้งหมดในไดเรกทอรี. githooks ให้เรียกใช้คำสั่งเหล่านี้ในไดเรกทอรีที่เก็บ:

 ค้นหา. git/hooks -type l -exec rm {} ;
ค้นหา. githooks -type f -exec ln -sf ../../ {} .git/hooks/;

ในการเปิดใช้งานเบ็ด git แต่ละตัวเพียงย้ายมันจาก. githooks/ ไดเรกทอรีไปยัง. git/ hooks/ ไดเรกทอรี

การสร้างเอกสารสฟิงซ์

ตั้งค่าสภาพแวดล้อม Python และติดตั้งการอ้างอิงที่ระบุไว้ใน doc/requirements.txt :

 # conda
conda สร้าง -n sagemaker python = 3.7
Conda เปิดใช้งาน Sagemaker
Conda ติดตั้ง sphinx = 3.1.1 sphinx_rtd_theme = 0.5.0

# pip
PIP Install -r doc/required.txt

โคลน/ส้อม repo และติดตั้งเวอร์ชันท้องถิ่นของคุณ:

 การติดตั้ง PIP -การอัพเกรด

จากนั้น cd ลงในไดเรกทอรี sagemaker-python-sdk/doc และเรียกใช้:

 ทำ HTML

คุณสามารถแก้ไขเทมเพลตสำหรับหน้าใด ๆ ในเอกสารโดยแก้ไขไฟล์. rst ในไดเรกทอรี doc จากนั้นเรียก make html อีกครั้ง

ดูตัวอย่างไซต์ด้วยเว็บเซิร์ฟเวอร์ Python:

 cd _build/html
Python -m http.server 8000

ดูเว็บไซต์โดยไปที่ http: // localhost: 8000

sagemaker sparkml เสิร์ฟ

ด้วยการให้บริการ Sagemaker SparkML ตอนนี้คุณสามารถทำการคาดการณ์กับแบบจำลอง SparkML ใน Sagemaker เพื่อที่จะเป็นเจ้าภาพโมเดล SparkML ใน Sagemaker ควรเป็นอนุกรมด้วย MLeap Library

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับ Mleap โปรดดู https://github.com/combust/mleap

SPARK รุ่นใหญ่ที่รองรับ: 3.3 (MLEAP เวอร์ชัน - 0.20.0)

นี่คือตัวอย่างเกี่ยวกับวิธีการสร้างอินสแตนซ์ของคลาส SparkMLModel และใช้วิธี deploy() เพื่อสร้างจุดสิ้นสุดที่สามารถใช้ในการทำนายกับโมเดล SparkML ที่ผ่านการฝึกอบรมของคุณ

 sparkml_model = SparkMLModel ( model_data = 's3://path/to/model.tar.gz' , env = { 'SAGEMAKER_SPARKML_SCHEMA' : schema })
model_name = 'sparkml-model'
endpoint_name = 'sparkml-endpoint'
predictor = sparkml_model . deploy ( initial_instance_count = 1 , instance_type = 'ml.c4.xlarge' , endpoint_name = endpoint_name )

เมื่อปรับใช้โมเดลแล้วเราสามารถเรียกใช้จุดสิ้นสุดด้วยเพย์โหลด CSV เช่นนี้:

 payload = 'field_1,field_2,field_3,field_4,field_5'
predictor . predict ( payload )

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับ content-type ที่แตกต่างกันและ Accept รูปแบบรวมถึงโครงสร้างของ schema ที่ Sagemaker SparkML ให้การรับรู้โปรดดู Sagemaker SparkML ที่ให้บริการภาชนะบรรจุ