sagemaker python sdk

Sagemaker Python SDK

O Sagemaker Python SDK é uma biblioteca de código aberto para treinamento e implantação de modelos de aprendizado de máquina no Amazon Sagemaker.

Com o SDK, você pode treinar e implantar modelos usando o Popular Deep Learning Frameworks Apache MXNET e o TensorFlow . Você também pode treinar e implantar modelos com algoritmos da Amazon , que são implementações escaláveis dos algoritmos principais de aprendizado de máquina que são otimizados para o treinamento de sagema e GPU. Se você tiver seus próprios algoritmos embutidos em contêineres compatíveis com Sagemaker, também poderá treinar e hospedar modelos usando -os.

Para documentação detalhada, incluindo a referência da API, consulte Leia os documentos.

Índice

1. Instalando o Sagemaker Python SDK
2. Usando o Sagemaker Python SDK
3. Usando mxnet
4. Usando o tensorflow
5. Usando a corrente
6. Usando pytorch
7. Usando Scikit-Learn
8. Usando xgboost
9. Estimadores de aprendizado de reforço de sagema
10. Sagemaker Sparkml Serviço
11. Estimadores de algoritmo embutidos da Amazon Sagema
12. Usando algorithmestimadores de sagemaker
13. Consumindo pacotes de modelos de sagemaker
14. Contêineres BYO Docker com estimadores de sagemaker
15. Ajuste automático de modelos de sagema
16. Transformação do lote de sagemaker
17. Treinamento seguro e inferência com VPC
18. Modelo BYO
19. Oleodutos de inferência
20. Operadores de sagema do Amazon no Apache Airflow
21. Sagemaker Autopilot
22. Monitoramento do modelo
23. Depurador de Sagemaker
24. Processamento de Sagemaker

Instalando o Sagemaker Python SDK

O Sagemaker Python SDK é construído para Pypi e a versão mais recente do Sagemaker Python SDK pode ser instalada com PIP da seguinte maneira

 pip install sagemaker == <versão mais recente da Pypi de https://pypi.org/project/sageMaker/>

Você pode instalar da fonte clonando este repositório e executando um comando de instalação pip no diretório raiz do repositório:

 Git clone https://github.com/aws/sagemaker-python-sdk.git
CD Sagemaker-Python-SDK
Instalação PIP.

Sistemas operacionais suportados

O Sagemaker Python SDK suporta Unix/Linux e Mac.

Versões Python suportadas

O Sagemaker Python SDK é testado em:

• Python 3.8
• Python 3.9
• Python 3.10
• Python 3.11

Telemetria

A Biblioteca sagemaker possui telemetria habilitada para nos ajudar a entender melhor as necessidades do usuário, diagnosticar problemas e fornecer novos recursos. Esta telemetria rastreia o uso de várias funções de sagemaker.

Se você preferir optar por não participar da telemetria, pode fazê -lo facilmente definindo o parâmetro TelemetryOptOut como true na configuração do SDK Padratts. Para instruções detalhadas, visite configurar e usar padrões com o Sagemaker Python SDK.

Permissões AWS

Como um serviço gerenciado, a Amazon Sagemaker realiza operações em seu nome no hardware da AWS que é gerenciado pela Amazon Sagemaker. A Amazon Sagemaker pode executar apenas operações que o usuário permite. Você pode ler mais sobre quais permissões são necessárias na documentação da AWS.

O Sagemaker Python SDK não deve exigir permissões adicionais, além do que é necessário para o uso de Sagemaker. No entanto, se você estiver usando uma função do IAM com um caminho, deve conceder permissão para iam:GetRole .

Licenciamento

O Sagemaker Python SDK é licenciado sob a licença Apache 2.0. É Copyright Amazon.com, Inc. ou suas afiliadas. Todos os direitos reservados. A licença está disponível em: http://aws.amazon.com/apache2.0/

Testes de execução

O Sagemaker Python SDK possui testes de unidade e integração.

Você pode instalar as bibliotecas necessárias para executar os testes executando pip install --upgrade .[test] ou, para usuários do ZSH: pip install --upgrade .[test]

Testes de unidade

Executamos testes de unidade com o TOX, que é um programa que permite executar testes de unidade para várias versões Python e também garantir que o código se encaixe em nossas diretrizes de estilo. Executamos TOX com todas as nossas versões Python suportadas; portanto, para executar testes de unidade com a mesma configuração que fazemos, você precisa ter intérpretes para as versões Python instaladas.

Para executar os testes de unidade com tox, execute:

 TOX TESTES/UNIDADE

Testes de integração

Para executar os testes de integração, os seguintes pré -requisitos devem ser atendidos

1. As credenciais da conta da AWS estão disponíveis no ambiente para o cliente BOTO3 usar.
2. A conta da AWS tem um papel de IAM chamado SageMakerRole . Ele deve ter a política da AmazOnsagemkerfullaccess anexada, bem como uma política com as permissões necessárias para usar a inferência elástica.

3. Para executar testes REMOTE_FUNCTION, o repositório DUMMY ECR deve ser criado. Pode ser criado executando -

   aws ecr create-repository --repository-name remote-function-dummy-container

Recomendamos executar seletivamente apenas os testes de integração que você gostaria de executar. Você pode filtrar nomes de funções de teste individuais com:

 tox --k 'test_i_care_about'

Você também pode executar todos os testes de integração executando o seguinte comando, que os executa em sequência, o que pode demorar um pouco:

 TOX - Testes/Integ

Você também pode executá -los em paralelo:

 TOX --N Testes de automóveis/integ

Ganchos git

Para ativar todos os ganchos Git no diretório .GitHooks, execute esses comandos no diretório do repositório:

 encontre .git/ganchos -Type L -exec rm {} ;
Encontre .githooks -Type f -exec ln -sf ../../ {} .git/hooks/;

Para ativar um gancho de git individual, basta movê -lo do .githooks/ diretório para o .git/ ganchos/ diretório.

Building Sphinx Docs

Configure um ambiente Python e instale as dependências listadas em doc/requirements.txt :

 # conda
CONDA CREATE -N SAGEMAKER Python = 3,7
O CONDA Ativa Sagemaker
Instalação do CONDA Sphinx = 3.1.1 sphinx_rtd_theme = 0.5.0

# pip
pip install -r doc/requisitos.txt

Clone/Fork the Repo e instale sua versão local:

 pip install -upgrade.

Em seguida, cd no diretório sagemaker-python-sdk/doc e execute:

 faça html

Você pode editar os modelos para qualquer uma das páginas nos documentos, editando os arquivos. PRST no diretório doc e em execução, make html novamente.

Visualize o site com um servidor da Web Python:

 CD _build/html
python -m http.server 8000

Veja o site visitando http: // localhost: 8000

Sagemaker Sparkml Serviço

Com o Sagemaker Sparkml Serving, agora você pode realizar previsões contra um modelo Sparkml no Sagemaker. Para hospedar um modelo Sparkml no Sagemaker, ele deve ser serializado com a biblioteca MLeap .

Para mais informações sobre o MLEAP, consulte https://github.com/combust/mleap.

Versão principal suportada do Spark: 3.3 (versão MLEAP - 0.20.0)

Aqui está um exemplo sobre como criar uma instância do método SparkMLModel e use o deploy() para criar um ponto de extremidade que pode ser usado para executar a previsão no seu modelo treinado Sparkml.

 sparkml_model = SparkMLModel ( model_data = 's3://path/to/model.tar.gz' , env = { 'SAGEMAKER_SPARKML_SCHEMA' : schema })
model_name = 'sparkml-model'
endpoint_name = 'sparkml-endpoint'
predictor = sparkml_model . deploy ( initial_instance_count = 1 , instance_type = 'ml.c4.xlarge' , endpoint_name = endpoint_name )

Depois que o modelo é implantado, podemos invocar o terminal com uma carga útil CSV como esta:

 payload = 'field_1,field_2,field_3,field_4,field_5'
predictor . predict ( payload )

Para obter mais informações sobre os diferentes formatos content-type e Accept , bem como a estrutura do schema que o Sagemaker Sparkml Serving reconhece, consulte o Sagemaker Sparkml Serving Container.