lambda instructor下载lambda instructor源代码下载

lambda instructor

其他源码

1.0.0

下载

Lambda-Instructor

关于

Lambda-Inspructor是AWS Lambda上文本插入模型的大型教师的实验部署。

教师大型教师是由香港大学NLP小组根据Apache-2.0许可建立的模型，并且在检索任务上表现良好（即找到给定句子的相关文档）。截至2023年6月，它似乎在Hugging Face排行榜上的众多基准测试中，Openai的文本插入-ADA-002处于水平。

潜在用例：

与本地推理配对：在您的本地机器上生成大量嵌入，并在本地机器上进行大量嵌入（而不是支付商业API，例如Openai的均已进行测试）。
数据居住：在包括欧洲和美国在内的全球AWS地区部署Lambda功能。
可伸缩性： AWS lambda量表几乎无限，没有管理服务器的开销。
低成本生产推断： AWS Lambda的每次要求定价与运行服务器24/7。
与矢量数据库一起使用：例如Chromadb或Pinecone。

绩效，成本和局限性：

冷启动： lambda功能的冷启动约为150秒（教师基数约50秒）。
推理：连续请求在每个请求约6秒内处理（带教师基库约3秒）。
最大限度。令牌：教师大量似乎以512个令牌的序列长度限制（约380个单词），而OpenAi的Text-Embedding-ADA-002最多支持8191个令牌（约6000个单词）。
成本： AWS lambda成本可以估计：
- 配置：
  - 地区：欧盟中央1（欧洲，法兰克福）
  - 手臂价格：每次GB $ 0.0000133334 $ 0.0000133334
  - 请求：每100万美元$ 0.20
  - 内存大小：10240 MB
- 计算：
  - 持续时间：$ 0.0000133334 * 10,24 GB * 6秒= 0.000819204096 /请求
  - 请求：$ 0.20 / 1M请求= 0.0000002 /请求
  - 总计= $ 0.0008194 /请求
- 截至2023年6月，其价格降低了75％后，这比Openai的Ada V2价格低于0.0001/1k的代币。

进一步的改进：通过AWS Lambda提供的并发和AWS计算储蓄计划，可以进一步提高成本和冷启动。还要以该项目的每月1m请求查看AWS计算器。

部署

先决条件

一般AWS知识很有帮助。
您需要在本地安装Docker和Git-LFS。
您需要在本地安装AWS-SAM并使用AWS帐户配置。
建议使用基于ARM的本地环境（MAC M1/M2）。如果遇到问题，请尝试通过基于ARM的EC2机器部署（下面的指南）。

设置

我们将在本地下载讲师模型，将应用程序包装在Docker容器中，然后将其部署在基于ARM的Lambda功能上。我们使用的是ARM，因为它具有AWS的较低成本，并且结果更快。

克隆存储库

git clone https://github.com/maxsagt/lambda-instructor.git

克隆讲师 -总模型到。

git lfs install ./app/model
git clone https://huggingface.co/hkunlp/instructor-large ./app/model

用AWS-SAM构建Docker容器
```
sam build --cached --parallel
```
用event.json中的样本有效负载本地测试。
```
sam local invoke -e event.json
```
部署到AWS。请注意，您的AWS用户或角色需求（临时）AWS云形式，弹性容器注册表，S3，Lambda和IAM的权限。
```
sam deploy
```
完毕。您会在AWS中找到可以进行进一步配置的Lambda功能。例如：
- 测试Lambda控制台中的Lambda功能。
- 配置lambda函数URL，直接通过URL使用lambda函数。
- 为更高级的API功能添加API网关。

可选：通过基于ARM的EC2计算机部署。

如果您没有手臂机器，或者想在AWS中部署以更快地上传Docker容器。

创建一个AWS实例：
- 在Ubuntu Server上测试22.04 LTS（HVM），SSD卷类型，AMI-0329D3839379BFD15，体系结构：64位（ARM），实例类型：T4G.Medium，存储：20GIB GP3。
- 确保您的VPC是公开的。
- 启动实例。
- 单击实例，并通过操作 - >安全性添加IAM角色。 IAM角色需要IAM，S3，ECR，CloudFormation和Lambda访问。

将存储库上传到远程AWS实例：

git clone https://github.com/maxsagt/lambda-instructor.git
cd lambda-instructor
zip -r deployment.zip . -x ' ./app/model/* '
PUBLIC_IPv4_DNS=ec2-x-xx-xxx-xxx.eu-central-1.compute.amazonaws.com
scp -o StrictHostKeyChecking=no -i " ../my_key.pem " ./deployment.zip ubuntu@ $PUBLIC_IPv4_DNS :deployment.zip

登录您的实例并执行示例部署脚本。

ssh -o StrictHostKeyChecking=no -i " ../my_key.pem " ubuntu@ $PUBLIC_IPv4_DNS
sudo apt install unzip
unzip -o deployment.zip
chmod +x sample_deployment.sh
sudo bash -x sample_deployment.sh