lambda packs
1.0.0
แพ็คเกจคอมไพล์ล่วงหน้าสำหรับ AWS Lambda
ซีลีเนียมบน Phantomjs อันที่จริง - เครื่องมือสำเร็จรูปสำหรับการขูดเว็บ ตัวอย่างเช่นตอนนี้การสาธิตเปิดหน้าสุ่มในวิกิพีเดียและส่งส่วนหัว (Phantomjs ในเวลาเดียวกันปลอมตัวเป็นเบราว์เซอร์ปกติรู้วิธีการเข้าสู่ระบบคลิกและกรอกแบบฟอร์ม) ยังเพิ่มคำขอดังนั้นคุณสามารถทำคำขอ API สำหรับทรัพยากรที่แตกต่างกันเพื่อทิ้ง / นำข้อมูลออกไป
มีประโยชน์สำหรับการทดสอบเว็บและการขูด
การสาธิตปัจจุบันเปิดหน้าสุ่มจาก Wiki (https://en.wikipedia.org/wiki/special:random) และพิมพ์ชื่อ
git clone https://github.com/ryfeus/lambda-packs.git
cd lambda-packs/Selenium_PhantomJS/source/
serverless deploy
serverless invoke --function main --log
นอกจากนี้คุณยังสามารถดูผลลัพธ์จากจุดสิ้นสุดของเกตเวย์ API ในเว็บเบราว์เซอร์
https://selenium-python.readthedocs.io/
แลมบ์ดาเกี่ยวข้องกับอะไร? โดยสรุปเกี่ยวกับ AWS ในภูมิภาคเดียวคุณสามารถเรียกใช้แลมบ์ดาได้ 200 ตัวพร้อมกัน (เพิ่มเติมหากคุณเขียนเพื่อสนับสนุน) แลมบ์ดาทำงานใน 11 ภูมิภาค ดังนั้นคุณสามารถทำงานแบบขนานได้มากกว่า 2,000 แลมบ์ดาสซึ่งแต่ละอันจะทำการทดสอบโหลดของบริการของคุณ การทดสอบห้านาทีจะมีค่าใช้จ่ายเพียงหนึ่งดอลลาร์
การสาธิตในแพ็คเกจนี้พยายามส่งคำขอไปยัง GitHub.com เป็นเวลา 5 วินาทีด้วยการเชื่อมต่อ 1 ครั้งและยังทำการทดสอบแบบจำลอง Pyresttest
https://github.com/wg/wrk
https://github.com/svanoort/pyresttest
แพ็คเกจสำหรับการแยกวิเคราะห์หน้า HTML แบบคงที่ ความแตกต่างที่นี่คือมันทำงานได้เร็วขึ้นและใช้หน่วยความจำน้อยกว่า PhantomJs แต่มีข้อ จำกัด ในเว็บไซต์ที่สามารถแยกวิเคราะห์และคุณสมบัติอื่น ๆ ได้
serverless install -u https://github.com/ryfeus/lambda-packs/tree/master/Lxml_requests/source -n lxml-requests
cd lxml-requests
serverless deploy
serverless invoke --function main --log
wget https://github.com/ryfeus/lambda-packs/blob/master/Lxml_requests/buildPack.sh
docker pull amazonlinux:latest
docker run -v $(pwd):/outputs --name lambdapackgen -d amazonlinux:latest tail -f /dev/null
docker exec -i -t lambdapackgen /bin/bash /outputs/buildPack.sh
LXML 3.7.1
http://lxml.de/
ไลบรารีโอเพ่นซอร์สสำหรับเครื่องข่าวกรองของเครื่อง โดยทั่วไปปฏิวัติ AI และทำให้สามารถเข้าถึงได้มากขึ้น การใช้ tensorflow บนแลมบ์ดานั้นไม่ได้เลวร้ายอย่างที่มันอาจฟัง - สำหรับรุ่นง่าย ๆ บางรุ่นมันเป็นวิธีที่ง่ายที่สุดและถูกที่สุดในการปรับใช้
ในฐานะที่เป็นรหัส Hello World ฉันใช้การรับรู้รูปภาพที่ได้รับการฝึกฝนใน Imagenet (https://www.tensorflow.org/tutorials/image_recognition) เนื่องจากราคาแท็กแลมบ์ดาหนึ่งวิ่ง (การรับรู้ภาพเดียว) จะมีค่าใช้จ่าย $ 0.00005 ดังนั้นสำหรับดอลลาร์คุณสามารถรับรู้ภาพ 20,000 ภาพ มันมีราคาถูกกว่าทางเลือกเกือบทุกอย่างแม้ว่าจะปรับขนาดได้อย่างสมบูรณ์ (ฟังก์ชั่น 200 สามารถทำงานได้ในแบบคู่ขนาน) และสามารถรวมเข้ากับโครงสร้างพื้นฐานคลาวด์ได้อย่างง่ายดาย การดาวน์โหลดตัวอย่างปัจจุบันภาพจากลิงค์ 'ImageLink' จากแหล่งเหตุการณ์ (ถ้าว่างเปล่า - จากนั้นดาวน์โหลด https://s3.amazonaws.com/ryfeuslambda/tensorflow/imagenet/cropped_panda.jpg)
Tensorflow 1.4.0
https://www.tensorflow.org/tutorials/image_recognition
การเก็บถาวรเวอร์ชันทุกคืนมีขนาดมากกว่า 50 MB แต่ก็ยังมีสิทธิ์ใช้กับ AWS Lambda (แม้ว่าคุณจะต้องอัปโหลดแพ็คผ่าน S3) สำหรับการอ่านเพิ่มเติมที่นี่:
https://hackernoon.com/exploring-the-aws-lambda-deployment-limits-9a8384b0bec3
serverless install -u https://github.com/ryfeus/lambda-packs/tree/master/tensorflow/source -n tensorflow
cd tensorflow
serverless deploy
serverless invoke --function main --log
สำหรับ Python2:
wget https://raw.githubusercontent.com/ryfeus/lambda-packs/master/Tensorflow/buildPack.sh
wget https://raw.githubusercontent.com/ryfeus/lambda-packs/master/Tensorflow/index.py
docker pull amazonlinux:latest
docker run -v $( pwd ) :/outputs --name lambdapackgen -d amazonlinux:latest tail -f /dev/null
docker exec -i -t lambdapackgen /bin/bash /outputs/buildPack.shสำหรับ Python3:
wget https://raw.githubusercontent.com/ryfeus/lambda-packs/master/Tensorflow/buildPack_py3.sh
wget https://raw.githubusercontent.com/ryfeus/lambda-packs/master/Tensorflow/index_py3.py
docker pull amazonlinux:latest
docker run -v $( pwd ) :/outputs --name lambdapackgen -d amazonlinux:latest tail -f /dev/null
docker exec -i -t lambdapackgen /bin/bash /outputs/buildPack_py3.shหมายเหตุ: จำไว้ว่าคุณควรตั้งค่า
python3.6สำหรับสภาพแวดล้อมฟังก์ชัน AWS Lambda
ARN: AWS: Lambda: US-East-1: 339543757547: เลเยอร์: Tensorflow-Pack
แพคเกจสำหรับแฟน ๆ ของการเรียนรู้ของเครื่องการสร้างโมเดลและสิ่งที่คล้ายกัน ฉันสงสัยว่ามีวิธีที่สะดวกกว่าในการปรับใช้แบบจำลองสู่โลกแห่งความเป็นจริง
http://scikit-learn.org/
แพ็คเกจของเครื่องมือประมวลผลภาพและไม่เพียง แต่จะจัดสไตล์ภาพเท่านั้น แต่ยังรวมถึงอัลกอริทึมการมองเห็นคอมพิวเตอร์จำนวนมาก
ขณะนี้มีแพ็คซิปสองชุดคือ pack.zip และ pack_nomatplotlib.zip คุณอาจต้องการใช้ pack_nomatplotlib.zip ดู #5 สำหรับข้อมูลเพิ่มเติม
Scikit-Image 0.12.3
http://scikit-image.org/
เครื่องมือการประมวลผลภาพอีกแพ็คเกจและไม่เพียง แต่จะจัดสไตล์ภาพเท่านั้น แต่ยังรวมถึงอัลกอริทึมการมองเห็นคอมพิวเตอร์ขนาดใหญ่
https://pillow.readthedocs.io/
http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_tutorials.html
แพคเกจสำหรับแฟน ๆ ของสถิตินักวิทยาศาสตร์ข้อมูลและวิศวกรข้อมูล RAM ที่ Lambda คือ 1.5 กิกะไบต์และเวลาในการทำงานสูงสุด - 5 นาที ฉันแน่ใจว่าจะเพียงพอสำหรับงานส่วนใหญ่
แพนด้า 0.19.0
http://pandas.pydata.org/
OpenSource Library สำหรับการประมวลผลภาษาธรรมชาติใน Python
https://spacy.io/
ตัวอย่างรหัสโหลดรูปแบบภาษาจาก S3 และใช้เพื่อวิเคราะห์ประโยค
ไลบรารี OCR (การจดจำอักขระออพติคอล) สำหรับการจดจำข้อความจากภาพ
https://github.com/tesseract-ocr/tesseract
รหัส "Hello World" ในแพ็คเกจสร้างตัวอย่างของเอกสารทุกฉบับ โดยทั่วไป LIBs เหล่านี้เป็นหน่วยความจำต่ำ (น้อยกว่า 128MB) และความเร็วสูง (น้อยกว่า 0.5 วินาที) ดังนั้นจึงเป็นเอกสาร ~ 1M ที่สร้างขึ้นต่อ 1 $ ในแง่ของการกำหนดราคา AWS Lambda
AWS Lambda Pack ใน Python สำหรับการประมวลผลภาพดาวเทียม โดยทั่วไปจะช่วยให้สามารถปรับใช้รหัส Python ในวิธีที่ง่ายและราคาถูกสำหรับการประมวลผลภาพดาวเทียมหรือรูปหลายเหลี่ยม ในรหัส“ Hello World” ของแพ็คฉันดาวน์โหลดวงสีแดงสีเขียวสีเขียวสีน้ำเงิน Landsat 8 จาก AWS สร้างภาพสีที่แท้จริงจากมันและอัปโหลดไปยัง S3 ใช้เวลา 35 วินาทีและ 824MB ของ RAM สำหรับมันดังนั้น ~ 2,500 ฉากสามารถประมวลผลได้สำหรับ 1 $
Python 3.6 Pytorch
# You need `docker` before run
./build-with-docker.sh
