sagemaker python sdk
v2.237.2
Sagemaker Python SDK adalah perpustakaan open source untuk melatih dan menggunakan model pembelajaran mesin di Amazon Sagemaker.
Dengan SDK, Anda dapat melatih dan menggunakan model menggunakan kerangka pembelajaran mendalam populer Apache Mxnet dan TensorFlow . Anda juga dapat melatih dan menggunakan model dengan algoritma Amazon , yang merupakan implementasi yang dapat diskalakan dari algoritma pembelajaran mesin inti yang dioptimalkan untuk pelatihan Sagemaker dan GPU. Jika Anda memiliki algoritma sendiri yang dibangun ke dalam wadah Docker yang kompatibel dengan Sagemaker, Anda dapat melatih dan meng -host model menggunakan ini juga.
Untuk dokumentasi terperinci, termasuk referensi API, lihat Baca dokumen.
Sagemaker Python SDK dibangun untuk PYPI dan versi terbaru dari Sagemaker Python SDK dapat diinstal dengan PIP sebagai berikut
PIP menginstal sagemaker == <Versi terbaru dari pypi dari https://pypi.org/project/sagemaker/>
Anda dapat menginstal dari sumber dengan mengkloning repositori ini dan menjalankan perintah install PIP di direktori root repositori:
Git Clone https://github.com/aws/sagemaker-python-sdk.git CD Sagemaker-Python-Sdk Pip Instal.
Sagemaker Python SDK mendukung Unix/Linux dan Mac.
Sagemaker Python SDK diuji pada:
Perpustakaan sagemaker memiliki telemetri diaktifkan untuk membantu kami lebih memahami kebutuhan pengguna, mendiagnosis masalah, dan memberikan fitur baru. Telemetri ini melacak penggunaan berbagai fungsi Sagemaker.
Jika Anda lebih suka memilih keluar dari telemetri, Anda dapat dengan mudah melakukannya dengan mengatur parameter TelemetryOptOut ke true dalam konfigurasi default SDK. Untuk instruksi terperinci, silakan kunjungi mengkonfigurasi dan menggunakan default dengan Sagemaker Python SDK.
Sebagai layanan terkelola, Amazon Sagemaker melakukan operasi atas nama Anda di perangkat keras AWS yang dikelola oleh Amazon Sagemaker. Amazon Sagemaker hanya dapat melakukan operasi yang diizinkan pengguna. Anda dapat membaca lebih lanjut tentang izin mana yang diperlukan dalam dokumentasi AWS.
Sagemaker Python SDK seharusnya tidak memerlukan izin tambahan selain dari apa yang diperlukan untuk menggunakan Sagemaker. Namun, jika Anda menggunakan peran IAM dengan jalur di dalamnya, Anda harus memberikan izin untuk iam:GetRole .
Sagemaker Python SDK dilisensikan di bawah lisensi Apache 2.0. Ini adalah Copyright Amazon.com, Inc. atau afiliasinya. Semua hak dilindungi undang -undang. Lisensi tersedia di: http://aws.amazon.com/apache2.0/
Sagemaker Python SDK memiliki tes unit dan tes integrasi.
Anda dapat menginstal pustaka yang diperlukan untuk menjalankan tes dengan menjalankan pip install --upgrade .[test] atau, untuk pengguna ZSH: pip install --upgrade .[test]
Tes unit
Kami menjalankan tes unit dengan TOX, yang merupakan program yang memungkinkan Anda menjalankan tes unit untuk beberapa versi Python, dan juga memastikan kode sesuai dengan pedoman gaya kami. Kami menjalankan TOX dengan semua versi Python kami yang didukung, sehingga untuk menjalankan tes unit dengan konfigurasi yang sama kami lakukan, Anda harus memiliki penerjemah untuk versi Python yang diinstal.
Untuk menjalankan tes unit dengan TOX, jalankan:
Tes/unit TOX
Tes integrasi
Untuk menjalankan tes integrasi, prasyarat berikut harus dipenuhi
SageMakerRole . Seharusnya memiliki kebijakan AmazonSagemakingfullaccess yang terlampir serta kebijakan dengan izin yang diperlukan untuk menggunakan inferensi elastis.aws ecr create-repository --repository-name remote-function-dummy-containerKami merekomendasikan secara selektif menjalankan hanya tes integrasi yang ingin Anda jalankan. Anda dapat memfilter dengan nama fungsi uji individual dengan:
TOX --K 'test_i_care_about'
Anda juga dapat menjalankan semua tes integrasi dengan menjalankan perintah berikut, yang menjalankannya secara berurutan, yang mungkin memakan waktu:
TOX - TEST/INTEG
Anda juga dapat menjalankannya secara paralel:
TOX --N Tes Otomatis/Integ
Untuk mengaktifkan semua kait git di direktori .githooks, jalankan perintah ini di direktori repositori:
temukan .git/hooks -type l -exec rm {} ;
temukan .githooks -type f -exec ln -sf ../../ {} .git/hooks/;
Untuk mengaktifkan kait git individu, cukup pindahkan dari .githooks/ direktori ke .GIT/ HOOKS/ Direktori.
Siapkan lingkungan Python, dan instal dependensi yang tercantum dalam doc/requirements.txt :
# conda conda create -n sagemaker python = 3.7 Conda mengaktifkan Sagemaker conda install sphinx = 3.1.1 sphinx_rtd_theme = 0.5.0 # Pip Pip instal -r doc/persyaratan.txt
Klon/garpu repo, dan instal versi lokal Anda:
Pip Instal -Upgrade.
Kemudian cd ke dalam direktori sagemaker-python-sdk/doc dan jalankan:
buat html
Anda dapat mengedit templat untuk salah satu halaman di dokumen dengan mengedit file .rst di direktori doc dan kemudian menjalankan make html lagi.
Pratinjau Situs dengan server web Python:
CD _Build/html Python -m http.server 8000
Lihat situs web dengan mengunjungi http: // localhost: 8000
Dengan Sagemaker SparkML melayani, Anda sekarang dapat melakukan prediksi terhadap model SparkML di Sagemaker. Untuk menjadi tuan rumah model SparkML di Sagemaker, itu harus diserialisasi dengan perpustakaan MLeap .
Untuk informasi lebih lanjut tentang MLEAP, lihat https://github.com/combust/mleap.
Versi utama yang didukung dari Spark: 3.3 (versi MLEAP - 0.20.0)
Berikut adalah contoh tentang cara membuat instance dari kelas SparkMLModel dan menggunakan metode deploy() untuk membuat titik akhir yang dapat digunakan untuk melakukan prediksi terhadap model SparkML terlatih Anda.
sparkml_model = SparkMLModel ( model_data = 's3://path/to/model.tar.gz' , env = { 'SAGEMAKER_SPARKML_SCHEMA' : schema })
model_name = 'sparkml-model'
endpoint_name = 'sparkml-endpoint'
predictor = sparkml_model . deploy ( initial_instance_count = 1 , instance_type = 'ml.c4.xlarge' , endpoint_name = endpoint_name ) Setelah model digunakan, kita dapat memohon titik akhir dengan muatan CSV seperti ini:
payload = 'field_1,field_2,field_3,field_4,field_5'
predictor . predict ( payload ) Untuk informasi lebih lanjut tentang content-type yang berbeda dan Accept format serta struktur schema yang diakui oleh Sagemaker SparkML, silakan lihat sagemaker sparkml melayani wadah.
