lambda packs
1.0.0
AWS Lambda의 사전 컴파일 패키지
유령의 셀레늄. 실제로 - 웹 스크래핑을위한 기성품 도구. 예를 들어, 데모는 이제 Wikipedia에서 임의의 페이지를 열고 헤더를 보냅니다. (Phantomjs는 동시에 일반 브라우저로 변장하고 로그인하는 방법을 알고, 양식을 클릭하고 작성하는 방법을 알고 있습니다) 요청을 추가하여 정보를 폐기 / 제거하기 위해 다른 리소스에 대한 API 요청을 수행 할 수 있습니다.
웹 테스트 및 스크래핑에 유용합니다.
현재 데모는 wiki (https://en.wikipedia.org/wiki/special:random)에서 임의의 페이지를 엽니 다.
git clone https://github.com/ryfeus/lambda-packs.git
cd lambda-packs/Selenium_PhantomJS/source/
serverless deploy
serverless invoke --function main --log
웹 브라우저에서 API 게이트웨이 엔드 포인트의 결과를 볼 수도 있습니다.
https://selenium-python.readthedocs.io/
람다는 그것과 어떤 관련이 있습니까? 한 지역의 AWS에 대한 간단히 말해서 동시에 200 람다를 실행할 수 있습니다 (지원을 위해 글을 쓰면 더 자세히 설명하십시오). Lambda는 11 개 지역에서 일합니다. 따라서 2000 명 이상의 람다를 병렬로 실행할 수 있으며, 각각은 서비스에 대한로드 테스트를 수행합니다. 그러한 테스트의 5 분은 1 달러에 불과합니다.
이 패키지의 데모는 1 개의 연결로 5 초 동안 github.com에 요청을 보내려고 시도하고 PyrestTest Dummy 테스트를 수행하려고합니다.
https://github.com/wg/wrk
https://github.com/svanoort/pyresttest
정적 HTML 페이지를 구문 분석 용 패키지. 차이점은 Phantomjs보다 더 빠르게 작동하고 메모리를 적게 소비하지만 웹 사이트 및 기타 기능이 제한되어 있다는 것입니다.
serverless install -u https://github.com/ryfeus/lambda-packs/tree/master/Lxml_requests/source -n lxml-requests
cd lxml-requests
serverless deploy
serverless invoke --function main --log
wget https://github.com/ryfeus/lambda-packs/blob/master/Lxml_requests/buildPack.sh
docker pull amazonlinux:latest
docker run -v $(pwd):/outputs --name lambdapackgen -d amazonlinux:latest tail -f /dev/null
docker exec -i -t lambdapackgen /bin/bash /outputs/buildPack.sh
LXML 3.7.1
http://lxml.de/
기계 인텔리전스를위한 오픈 소스 라이브러리. 기본적으로 AI에 혁명을 일으켜 접근하기 쉽게 만들었습니다. Lambda에서 Tensorflow를 사용하는 것은 소리만큼 나쁘지 않습니다. 일부 간단한 모델의 경우 가장 간단하고 저렴한 배포 방법입니다.
Hello World Code로서 나는 Imagenet (https://www.tensorflow.org/tutorials/image_recognition)에서 훈련 된 이미지를 인식했습니다. 가격표 Lambda One Run (한 사진의 인식)은 $ 0.00005의 비용이 듭니다. 따라서 1 달러에 20,000 개의 이미지를 인식 할 수 있습니다. 거의 모든 대안보다 훨씬 저렴하지만 완전히 확장 가능하지만 (200 개의 기능은 병렬로 실행될 수 있음) 클라우드 인프라에 쉽게 통합 될 수 있습니다. 현재 데모는 이벤트 소스에서 링크 'imagelink'에서 이미지를 다운로드합니다 (비어있는 경우 - https://s3.amazonaws.com/ryfeuslambda/tensorflow/imagenet/cropped_panda.jpg를 다운로드합니다)
텐서 플로 1.4.0
https://www.tensorflow.org/tutorials/image_recognition
야간 버전 아카이브의 크기는 50MB 이상이지만 여전히 AWS Lambda와 함께 사용할 수 있습니다 (S3를 통해 팩을 업로드해야 함). 자세한 내용은 여기에서 읽으십시오.
https://hackernoon.com/exploring-the-aws-lambda-deployment-limits-9a8384b0bec3
serverless install -u https://github.com/ryfeus/lambda-packs/tree/master/tensorflow/source -n tensorflow
cd tensorflow
serverless deploy
serverless invoke --function main --log
Python2의 경우 :
wget https://raw.githubusercontent.com/ryfeus/lambda-packs/master/Tensorflow/buildPack.sh
wget https://raw.githubusercontent.com/ryfeus/lambda-packs/master/Tensorflow/index.py
docker pull amazonlinux:latest
docker run -v $( pwd ) :/outputs --name lambdapackgen -d amazonlinux:latest tail -f /dev/null
docker exec -i -t lambdapackgen /bin/bash /outputs/buildPack.shPython3의 경우 :
wget https://raw.githubusercontent.com/ryfeus/lambda-packs/master/Tensorflow/buildPack_py3.sh
wget https://raw.githubusercontent.com/ryfeus/lambda-packs/master/Tensorflow/index_py3.py
docker pull amazonlinux:latest
docker run -v $( pwd ) :/outputs --name lambdapackgen -d amazonlinux:latest tail -f /dev/null
docker exec -i -t lambdapackgen /bin/bash /outputs/buildPack_py3.sh참고 : AWS Lambda 기능 환경에 대해
python3.6설정해야합니다.
ARN : AWS : LAMBDA : US-EAST-1 : 339543757547 : 레이어 : Tensorflow-Pack
머신 러닝, 빌딩 모델 등의 팬을위한 패키지. 모델을 실제 세계에 배포하는 더 편리한 방법이 있는지 의심합니다.
http://scikit-learn.org/
이미지 처리 도구 패키지, 스타일 이미지뿐만 아니라 대규모 컴퓨터 비전 알고리즘 세트.
현재 Pack.zip 및 Pack_Nomatplotlib.zip을 사용할 수있는 2 개의 ZIPPER 팩이 있습니다. 아마도 pack_nomatplotlib.zip을 사용하고 싶을 것입니다. 자세한 내용은 #5를 참조하십시오.
Scikit-Image 0.12.3
http://scikit-image.org/
다른 이미지 처리 도구 패키지, 스타일 이미지뿐만 아니라 대규모 컴퓨터 비전 알고리즘 세트.
https://pillow.readthedocs.io/
http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_tutorials.html
통계, 데이터 과학자 및 데이터 엔지니어 팬을위한 패키지. Lambda의 RAM은 1.5 기가 바이트이며 최대 작동 시간 -5 분입니다. 나는 그것이 대부분의 작업에 충분할 것이라고 확신합니다.
팬더 0.19.0
http://pandas.pydata.org/
파이썬에서 자연어 처리를위한 OpenSource 라이브러리.
https://spacy.io/
코드 예제는 S3의 언어 모델을로드하고이를 사용하여 문장을 분석합니다.
이미지에서 텍스트 인식을위한 OCR (광학 문자 인식) 라이브러리.
https://github.com/tesseract-ocroc/tesseract
패키지의 "Hello World"코드는 모든 문서의 예를 만듭니다. 기본적 으로이 LIB는 메모리가 낮고 (128MB 미만) 고속 (0.5 초 미만)이므로 AWS Lambda 가격 측면에서 1 $ 당 ~ 1m 문서와 같은 것입니다.
위성 이미지를 처리하기 위해 Python의 AWS Lambda Pack. 기본적으로 위성 이미지 또는 다각형을 처리하기 위해 쉽고 저렴한 방식으로 Python 코드를 배포 할 수 있습니다. 팩의 "Hello World"코드에서는 AWS의 빨간색, 녹색, 파란색 랜드 세트 8 밴드를 다운로드하고 진정한 색상 이미지를 만들어 S3에 업로드합니다. 35 초와 824MB의 RAM이 소요되므로 ~ 2500 장면을 1 $로 처리 할 수 있습니다.
Python 3.6 기반 Pytorch
# You need `docker` before run
./build-with-docker.sh
