

Sagemaker Python SDK是一個開源庫,用於在Amazon Sagemaker上培訓和部署機器學習模型。
使用SDK,您可以使用流行的深度學習框架Apache MXNET和TensorFlow訓練和部署模型。您還可以使用Amazon算法進行培訓和部署模型,這些算法是針對SageMaker和GPU培訓優化的核心機器學習算法的可擴展實現。如果您擁有兼容Docker容器中內置在SageMaker中的算法,則也可以使用它們訓練和主機。
有關包括API參考的詳細文檔,請參見閱讀文檔。
SageMaker Python SDK是PYPI構建的,最新版本的SageMaker Python SDK可以使用PIP安裝如下
pip install sagemaker == <https://pypi.org/project/sagemaker/>的PYPI最新版本
您可以通過克隆此存儲庫來安裝並在存儲庫的根目錄中運行PIP安裝命令:
git克隆https://github.com/aws/sagemaker-python-sdk.git CD Sagemaker-Python-SDK PIP安裝。
Sagemaker Python SDK支持UNIX/Linux和Mac。
Sagemaker Python SDK已測試:
sagemaker庫已啟用遙測,以幫助我們更好地了解用戶需求,診斷問題並提供新功能。該遙測跟踪了各種sagemaker功能的使用。
如果您希望選擇退出遙測,則可以通過將TelemetryOptOut參數設置為SDK默認配置中的true輕鬆完成。有關詳細說明,請訪問使用SageMaker Python SDK的配置和使用默認值。
作為一項託管服務,亞馬遜薩吉人代表您在亞馬遜Sagemaker管理的AWS硬件上執行操作。 Amazon SageMaker只能執行用戶允許的操作。您可以閱讀有關AWS文檔中需要哪些權限的更多信息。
除了使用SageMaker所需的內容外,SageMaker Python SDK不應需要任何其他許可。但是,如果您在其中使用IAM角色,則應授予iam:GetRole的權限。
Sagemaker Python SDK已獲得Apache 2.0許可證的許可。它是版權Amazon.com,Inc。或其分支機構。版權所有。許可證可在以下網址獲得:http://aws.amazon.com/apache2.0/
Sagemaker Python SDK具有單位測試和集成測試。
您可以通過運行pip install --upgrade .[test]或for ZSH用戶: pip install --upgrade .[test]
單位測試
我們使用TOX運行單元測試,該程序使您可以為多個Python版本運行單元測試,並確保代碼符合我們的樣式指南。我們使用所有支持的Python版本運行TOX,因此,要使用與我們相同的配置進行單元測試,您需要為安裝這些Python版本的口譯器提供口譯員。
要使用TOX運行單元測試,請運行:
托克斯測試/單位
集成測試
要運行集成測試,必須滿足以下先決條件
SageMakerRole的IAM角色。它應該附有AmazonSageMakerFullaccess策略,以及具有使用彈性推理的必要權限的策略。aws ecr create-repository --repository-name remote-function-dummy-container我們建議您僅選擇要運行的集成測試。您可以通過以下方式通過單個測試功能名稱過濾:
tox -k'test_i_care_about'
您還可以通過運行以下命令來運行所有集成測試,該命令按順序運行它們,這可能需要一段時間:
TOX-測試/整數
您也可以並行運行它們:
TOX- -N自動測試/整數
要在.githooks目錄中啟用所有git鉤,請在存儲庫目錄中運行這些命令:
查找.git/hooks -type l -exec rm {} ;
查找.githooks -type f -exec ln -sf ../../ {} .git/hooks/;
要啟用一個單獨的git鉤,只需將其從.githooks/ Directory移動到.git/ hooks/ Directory。
設置Python環境,並安裝doc/requirements.txt中列出的依賴項:
#康達 conda create -n sagemaker python = 3.7 Conda激活薩吉式製造商 conda install sphinx = 3.1.1 sphinx_rtd_theme = 0.5.0 #pip PIP安裝-R doc/unignts.txt
克隆/叉子存儲庫,然後安裝您的本地版本:
PIP安裝 - 升級。
然後cd進入sagemaker-python-sdk/doc目錄並運行:
製作html
您可以通過編輯doc目錄中的.RST文件,然後再次運行使make html文件,以編輯文檔中任何頁面的模板。
使用Python Web服務器預覽網站:
CD _BUILD/HTML Python -M http.Server 8000
訪問http:// localhost:8000查看網站
借助Sagemaker SparkML服務,您現在可以針對SageMaker的SparkML模型執行預測。為了在SageMaker中託管SparkML模型,應與MLeap庫序列化。
有關MLEAP的更多信息,請參見https://github.com/combust/mleap。
支持的主要版本Spark:3.3(MLEAP版本-0.20.0)
這是有關如何創建SparkMLModel類的實例並使用deploy()方法創建一個端點的示例,該實例可用於針對您訓練的SparkML模型執行預測。
sparkml_model = SparkMLModel ( model_data = 's3://path/to/model.tar.gz' , env = { 'SAGEMAKER_SPARKML_SCHEMA' : schema })
model_name = 'sparkml-model'
endpoint_name = 'sparkml-endpoint'
predictor = sparkml_model . deploy ( initial_instance_count = 1 , instance_type = 'ml.c4.xlarge' , endpoint_name = endpoint_name )部署模型後,我們可以使用這樣的CSV有效負載調用端點:
payload = 'field_1,field_2,field_3,field_4,field_5'
predictor . predict ( payload )有關不同content-type和Accept格式的更多信息以及Sagemaker SparkMl服務所識別的schema的結構,請參閱SageMaker SparkML SparkML使用容器。