lambda packs
1.0.0
حزم مسبقة لـ AWS Lambda
السيلينيوم على phantomjs. في الواقع - أداة جاهزة لتجفيف الويب. على سبيل المثال ، يفتح العرض التوضيحي الآن صفحة عشوائية في ويكيبيديا ويرسل رأسها. (Phantomjs في نفس الوقت يخفيون نفسه كمتصفح عادي ، يعرف كيفية تسجيل الدخول والنقر وملء النماذج) أيضًا عن الطلبات ، بحيث يمكنك تقديم طلبات API لموارد مختلفة لتجاهل / إزالة المعلومات.
مفيد لاختبار الويب والتجشيد.
يفتح العرض التجريبي الحالي صفحة عشوائية من Wiki (https://en.wikipedia.org/wiki/special:Random) وطباعة العنوان.
git clone https://github.com/ryfeus/lambda-packs.git
cd lambda-packs/Selenium_PhantomJS/source/
serverless deploy
serverless invoke --function main --log
يمكنك أيضًا رؤية نتائج نقطة نهاية API Gateway في متصفح الويب.
https://selenium-python.readthedocs.io/
ما علاقة لامدا به؟ باختصار على AWS في منطقة واحدة ، يمكنك تشغيل 200 Lambdas في وقت واحد (المزيد إذا كتبت لدعم). يعمل Lambda في 11 منطقة. بحيث يمكنك تشغيل أكثر من 2000 lambdas ، كل منها سيختبر اختبار الحمل لخدمتك. خمس دقائق من هذا الاختبار ستكلف دولار واحد فقط.
يحاول العرض التوضيحي في هذه الحزمة إرسال طلبات إلى Github.com لمدة 5 ثوان مع اتصال واحد وأيضًا إجراء اختبار Pyresttest Dummy.
https://github.com/wg/wrk
https://github.com/svanoort/pyresttest
حزمة لتحليل صفحات HTML ثابتة. الفرق هنا هو أنه يعمل بشكل أسرع ويستهلك ذاكرة أقل من phantomjs ولكنه محدود في مواقع الويب التي يمكن أن تحذوذها والميزات الأخرى.
serverless install -u https://github.com/ryfeus/lambda-packs/tree/master/Lxml_requests/source -n lxml-requests
cd lxml-requests
serverless deploy
serverless invoke --function main --log
wget https://github.com/ryfeus/lambda-packs/blob/master/Lxml_requests/buildPack.sh
docker pull amazonlinux:latest
docker run -v $(pwd):/outputs --name lambdapackgen -d amazonlinux:latest tail -f /dev/null
docker exec -i -t lambdapackgen /bin/bash /outputs/buildPack.sh
LXML 3.7.1
http://lxml.de/
مكتبة مفتوحة المصدر لذكاء الآلة. أحدث ثورة في الذكاء الاصطناعي وجعلها أكثر سهولة. إن استخدام TensorFlow على Lambda ليس سيئًا كما قد يبدو - بالنسبة لبعض النماذج البسيطة ، فهو أبسط وأرخص طريقة للنشر.
كرمز Hello World ، استخدمت الاعتراف بالصور المدربة على ImageNet (https://www.tensorflow.org/tutorials/image_recognition). بالنظر إلى السعر ، سيتكلف Lambda One Run (التعرف على صورة واحدة) 0.00005 دولار. لذلك مقابل دولار ، يمكنك التعرف على 20.000 صورة. إنه أرخص بكثير من أي بدائل تقريبًا ، على الرغم من أن 200 وظيفة يمكن تشغيلها بالتوازي) ، ويمكن دمجها بسهولة في البنية التحتية السحابية. يقوم التجريبي الحالي بتنزيل الصورة من الرابط "ImageLink" من مصدر الحدث (إذا كان فارغًا - ثم يقوم بتنزيل https://s3.amazonaws.com/ryfeuslambda/tensorflow/imagenet/cropped_panda.jpg)
Tensorflow 1.4.0
https://www.tensorflow.org/tutorials/image_recognition
أرشيف الإصدار الليلي أكثر من 50 ميجابايت في الحجم ، لكنه لا يزال مؤهلاً لاستخدامه مع AWS Lambda (على الرغم من أنك تحتاج إلى تحميل حزمة من خلال S3). لمزيد من القراءة هنا:
https://hackernoon.com/exploring-the-aws-lambda-deployment-limits-9a8384b0bc3
serverless install -u https://github.com/ryfeus/lambda-packs/tree/master/tensorflow/source -n tensorflow
cd tensorflow
serverless deploy
serverless invoke --function main --log
ل Python2:
wget https://raw.githubusercontent.com/ryfeus/lambda-packs/master/Tensorflow/buildPack.sh
wget https://raw.githubusercontent.com/ryfeus/lambda-packs/master/Tensorflow/index.py
docker pull amazonlinux:latest
docker run -v $( pwd ) :/outputs --name lambdapackgen -d amazonlinux:latest tail -f /dev/null
docker exec -i -t lambdapackgen /bin/bash /outputs/buildPack.shل python3:
wget https://raw.githubusercontent.com/ryfeus/lambda-packs/master/Tensorflow/buildPack_py3.sh
wget https://raw.githubusercontent.com/ryfeus/lambda-packs/master/Tensorflow/index_py3.py
docker pull amazonlinux:latest
docker run -v $( pwd ) :/outputs --name lambdapackgen -d amazonlinux:latest tail -f /dev/null
docker exec -i -t lambdapackgen /bin/bash /outputs/buildPack_py3.shملاحظة: تذكر أنه يجب عليك تعيين
python3.6لبيئة وظيفة AWS Lambda.
ARN: AWS: Lambda: US-East-1: 339543757547: Layer: Tensorflow-Pack
حزمة لعشاق التعلم الآلي ، والبناء نماذج وما شابه. أشك في أن هناك طريقة أكثر ملاءمة لنشر النموذج في العالم الحقيقي.
http://scikit-learn.org/
حزمة من أدوات معالجة الصور ، وليس فقط لأسلوب الصورة ، ولكن أيضًا مجموعة كبيرة من خوارزميات رؤية الكمبيوتر.
يوجد حاليًا حزمتان مضغوطتان ، pack.zip و pack_nomatplotlib.zip ، ربما تريد استخدام pack_nomatplotlib.zip. انظر رقم 5 لمزيد من المعلومات.
Scikit-dest 0.12.3
http://scikit-image.org/
حزمة أخرى من أدوات معالجة الصور ، وليس فقط لأسلوب الصورة ، ولكن أيضًا مجموعة كبيرة من خوارزميات رؤية الكمبيوتر.
https://pillow.readthedocs.io/
http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_tutorials.html
حزمة لمحبي الإحصاء وعلماء البيانات ومهندسي البيانات. RAM في Lambda هو 1.5 غيغابايت ، والحد الأقصى لوقت التشغيل - 5 دقائق. أنا متأكد من أن هذا سيكون كافيًا لمعظم المهام.
Pandas 0.19.0
http://pandas.pydata.org/
OpenSource Library لمعالجة اللغة الطبيعية في Python.
https://spacy.io/
يقوم رمز مثال بتحميل نموذج اللغة من S3 ويستخدمه لتحليل الجملة.
مكتبة OCR (التعرف على الأحرف البصرية) للتعرف على النص من الصورة.
https://github.com/tesseract-ocr/tesseract
رمز "Hello World" في الحزمة ينشئ مثالًا على كل وثيقة. في الأساس ، تكون هذه libs ذاكرة منخفضة (أقل من 128 ميجابايت) وسرعة عالية (أقل من 0.5 ثانية) ، لذا فهي تشبه ~ 1 مليون مستندات تم إنشاؤها لكل 1 دولار من حيث تسعير AWS Lambda.
AWS Lambda Pack في Python لمعالجة صور الأقمار الصناعية. في الأساس ، يتيح نشر كود الثعبان بطريقة سهلة ورخيصة لمعالجة صور الأقمار الصناعية أو المضلعات. في رمز "Hello World" لـ The Pack I Download Red و Green و Blue Landsat 8 Bands من AWS ، قم بإخراج صورة ملونة حقيقية وتحميلها إلى S3. يستغرق 35 ثانية و 824 ميجابايت من ذاكرة الوصول العشوائي لذلك يمكن معالجة حوالي 2500 مشاهد مقابل 1 دولار.
Python 3.6 Pytorch
# You need `docker` before run
./build-with-docker.sh
