AWSラムダ用の事前補償パッケージ
ファントミのセレン。実際、ウェブスクレイピングのための既製のツール。たとえば、デモはウィキペディアでランダムなページを開き、ヘッダーを送信します。 (Phantomjsは同時に、通常のブラウザに変装し、ログイン、クリックしてフォームに記入する方法を知っています)リクエストも追加するため、さまざまなリソースのAPIリクエストを実行して情報を破棄 /削除できます。
Webテストとスクレイピングに役立ちます。
現在のデモは、wiki(https://en.wikipedia.org/wiki/special:random)からランダムページを開き、タイトルを印刷します。
git clone https://github.com/ryfeus/lambda-packs.git
cd lambda-packs/Selenium_PhantomJS/source/
serverless deploy
serverless invoke --function main --log
また、WebブラウザーのAPIゲートウェイエンドポイントの結果を確認することもできます。
https://selenium-python.readthedocs.io/
ラムダはそれと何の関係がありますか? 1つの地域のAWSの簡単なことに、同時に200のラムダを実行できます(サポートを書く場合は詳細)。ラムダは11の地域で働いています。したがって、2000を超えるラムダスを並行して実行でき、それぞれがサービスの負荷テストを実施します。このようなテストの5分間は1ドルだけです。
このパッケージのデモは、1つの接続で5秒間github.comにリクエストを送信しようとし、Pyresttestダミーテストも実施しようとします。
https://github.com/wg/wrk
https://github.com/svanoort/pyresttest
静的HTMLページを解析するためのパッケージ。ここでの違いは、Phantomjsよりも速く動作し、メモリが少ないが、それが解析できるWebサイトやその他の機能が制限されていることです。
serverless install -u https://github.com/ryfeus/lambda-packs/tree/master/Lxml_requests/source -n lxml-requests
cd lxml-requests
serverless deploy
serverless invoke --function main --log
wget https://github.com/ryfeus/lambda-packs/blob/master/Lxml_requests/buildPack.sh
docker pull amazonlinux:latest
docker run -v $(pwd):/outputs --name lambdapackgen -d amazonlinux:latest tail -f /dev/null
docker exec -i -t lambdapackgen /bin/bash /outputs/buildPack.sh
LXML 3.7.1
http://lxml.de/
マシンインテリジェンス用のオープンソースライブラリ。基本的にAIに革命をもたらし、よりアクセスしやすくしました。 LambdaでTensorflowを使用することは、聞こえるほど悪くはありません。一部の単純なモデルでは、展開するのに最も簡単で安価な方法です。
Hello World Codeとして、Imagenet(https://www.tensorflow.org/tutorials/image_recognition)でトレーニングされた画像の認識を使用しました。価格タグを考えると、Lambda 1回のラン(1枚の写真の認識)は0.00005ドルかかります。したがって、1ドルで20,000枚の画像を認識できます。完全にスケーラブルですが(200の機能は並行して実行できます)、ほとんどの代替品よりもはるかに安価で、クラウドインフラストラクチャに簡単に統合できます。現在のデモは、イベントソースからリンク「ImageLink」から画像をダウンロードします(空の場合 - その後、https://s3.amazonaws.com/ryfeuslambda/tensorflow/imagenet/cropped_panda.jpgをダウンロード)
Tensorflow 1.4.0
https://www.tensorflow.org/tutorials/image_recognition
毎晩のバージョンアーカイブのサイズは50 MB以上ですが、AWS Lambdaで使用する資格があります(ただし、S3を介してパックをアップロードする必要があります)。詳細については、こちらをご覧ください:
https://hackernoon.com/exploring-the-aws-lambda-deployment-limits-9a8384b0bec3
serverless install -u https://github.com/ryfeus/lambda-packs/tree/master/tensorflow/source -n tensorflow
cd tensorflow
serverless deploy
serverless invoke --function main --log
Python2の場合:
wget https://raw.githubusercontent.com/ryfeus/lambda-packs/master/Tensorflow/buildPack.sh
wget https://raw.githubusercontent.com/ryfeus/lambda-packs/master/Tensorflow/index.py
docker pull amazonlinux:latest
docker run -v $( pwd ) :/outputs --name lambdapackgen -d amazonlinux:latest tail -f /dev/null
docker exec -i -t lambdapackgen /bin/bash /outputs/buildPack.shPython3の場合:
wget https://raw.githubusercontent.com/ryfeus/lambda-packs/master/Tensorflow/buildPack_py3.sh
wget https://raw.githubusercontent.com/ryfeus/lambda-packs/master/Tensorflow/index_py3.py
docker pull amazonlinux:latest
docker run -v $( pwd ) :/outputs --name lambdapackgen -d amazonlinux:latest tail -f /dev/null
docker exec -i -t lambdapackgen /bin/bash /outputs/buildPack_py3.sh注:AWSラムダ機能環境に
python3.6を設定する必要があることを忘れないでください。
ARN:AWS:Lambda:US-East-1:339543757547:レイヤー:Tensorflow-Pack
機械学習、構築モデルなどのファン向けのパッケージ。モデルを現実の世界に展開するためのより便利な方法があるとは思わない。
http://scikit-learn.org/
画像処理ツールのパッケージ、およびイメージのスタイルだけでなく、コンピュータービジョンアルゴリズムの大規模なセットもあります。
現在、2つのジップパックが利用可能です。Pack.zipとpack_nomatplotlib.zip、おそらくpack_nomatplotlib.zipを使用する必要があります。詳細については、#5を参照してください。
Scikit-image 0.12.3
http://scikit-image.org/
画像処理ツールのもう1つのパッケージは、画像をスタイリングするだけでなく、コンピュータービジョンアルゴリズムの大規模なセットでもあります。
https://pillow.readthedocs.io/
http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_tutorials.html
統計、データサイエンティスト、データエンジニアのファン向けのパッケージ。 LambdaのRAMは1.5ギガバイトで、最大動作時間-5分です。ほとんどのタスクには十分だと思います。
パンダ0.19.0
http://pandas.pydata.org/
Pythonの自然言語処理のためのOpenSourceライブラリ。
https://spacy.io/
サンプルコードはS3から言語モデルをロードし、それを使用して文を分析します。
OCR(光学文字認識)画像からのテキスト認識のためのライブラリ。
https://github.com/tesseract-ocr/tesseract
パッケージの「Hello World」コードは、すべてのドキュメントの例を作成します。基本的に、これらのLIBは低メモリ(128MB未満)および高速(0.5秒未満)であるため、AWS Lambda価格設定の観点から1 $あたりで生成される〜1Mドキュメントのようなものです。
衛星画像を処理するためのPythonのAWS Lambdaパック。基本的に、衛星画像またはポリゴンを処理するための簡単で安価な方法でPythonコードを展開できます。パックの「Hello World」コードでは、AWSからRed、Green、Blue Landsat 8バンドをダウンロードし、それから真の色の画像を作成し、S3にアップロードします。 35秒かかり、824MBのRAMがかかるため、〜2500シーンは1ドルで処理できます。
Python 3.6ベースのPytorch
# You need `docker` before run
./build-with-docker.sh