lambda instructor

Lambda-Instructor

關於

Lambda-Inspructor是AWS Lambda上文本插入模型的大型教師的實驗部署。

教師大型教師是由香港大學NLP小組根據Apache-2.0許可建立的模型，並且在檢索任務上表現良好（即找到給定句子的相關文檔）。截至2023年6月，它似乎在Hugging Face排行榜上的眾多基準測試中，Openai的文本飾面-ADA-002處於水平上。

潛在用例：

• 與本地推理配對：在您的本地機器上生成大量嵌入，並在本地機器上進行大量嵌入（而不是支付商業API，例如Openai的均已進行測試）。
• 數據居住：在包括歐洲和美國在內的全球AWS地區部署Lambda功能。
• 可伸縮性： AWS lambda量表幾乎無限，沒有管理服務器的開銷。
• 低成本生產推斷： AWS Lambda的每次要求定價與運行服務器24/7。
• 與矢量數據庫一起使用：例如Chromadb或Pinecone。

績效，成本和局限性：

• 冷啟動： lambda功能的冷啟動約為150秒（教師基數約50秒）。
• 推理：連續請求在每個請求約6秒內處理（帶教師基庫約3秒）。
• 最大限度。令牌：教師大量似乎以512個令牌的序列長度限制（約380個單詞），而OpenAi的Text-Embedding-ADA-002最多支持8191個令牌（約6000個單詞）。
• 成本： AWS lambda成本可以估計：
  • 配置：
    • 地區：歐盟中央1（歐洲，法蘭克福）
    • 手臂價格：每次GB $ 0.0000133334 $ 0.0000133334
    • 請求：每100萬美元$ 0.20
    • 內存大小：10240 MB
  • 計算：
    • 持續時間：$ 0.0000133334 * 10,24 GB * 6秒= 0.000819204096 /請求
    • 請求：$ 0.20 / 1M請求= 0.0000002 /請求
    • 總計= $ 0.0008194 /請求
  • 截至2023年6月，其價格降低了75％後，這比Openai的Ada V2價格低於0.0001/1k的代幣。

進一步的改進：通過AWS Lambda提供的並發和AWS計算儲蓄計劃，可以進一步提高成本和冷啟動。還要以該項目的每月1m請求查看AWS計算器。

部署

先決條件

• 一般AWS知識很有幫助。
• 您需要在本地安裝Docker和Git-LFS。
• 您需要在本地安裝AWS-SAM並使用AWS帳戶配置。
• 建議使用基於ARM的本地環境（MAC M1/M2）。如果遇到問題，請嘗試通過基於ARM的EC2機器部署（下面的指南）。

設定

我們將在本地下載講師模型，將應用程序包裝在Docker容器中，然後將其部署在基於ARM的Lambda功能上。我們使用的是ARM，因為它具有AWS的較低成本，並且結果更快。

1. 克隆存儲庫

   git clone https://github.com/maxsagt/lambda-instructor.git

2. 克隆講師 -總模型到。

   git lfs install ./app/model
   git clone https://huggingface.co/hkunlp/instructor-large ./app/model

3. 用AWS-SAM構建Docker容器

   sam build --cached --parallel

4. 用event.json中的樣本有效負載本地測試。

   sam local invoke -e event.json

5. 部署到AWS。請注意，您的AWS用戶或角色需求（臨時）AWS雲形式，彈性容器註冊表，S3，Lambda和IAM的權限。

   sam deploy

6. 完畢。您會在AWS中找到可以進行進一步配置的Lambda功能。例如：
   • 測試Lambda控制台中的Lambda功能。
   • 配置lambda函數URL，直接通過URL使用lambda函數。
   • 為更高級的API功能添加API網關。

可選：通過基於ARM的EC2計算機部署。

如果您沒有手臂機器，或者想在AWS中部署以更快地上傳Docker容器。

1. 創建一個AWS實例：
   • 在Ubuntu Server上測試22.04 LTS（HVM），SSD卷類型，AMI-0329D3839379BFD15，體系結構：64位（ARM），實例類型：T4G.Medium，存儲：20GIB GP3。
   • 確保您的VPC是公開的。
   • 啟動實例。
   • 單擊實例，並通過操作 - >安全性添加IAM角色。 IAM角色需要IAM，S3，ECR，CloudFormation和Lambda訪問。
2. 將存儲庫上傳到遠程AWS實例：

   git clone https://github.com/maxsagt/lambda-instructor.git
   cd lambda-instructor
   zip -r deployment.zip . -x ' ./app/model/* '
   PUBLIC_IPv4_DNS=ec2-x-xx-xxx-xxx.eu-central-1.compute.amazonaws.com
   scp -o StrictHostKeyChecking=no -i " ../my_key.pem " ./deployment.zip ubuntu@ $PUBLIC_IPv4_DNS :deployment.zip

3. 登錄您的實例並執行示例部署腳本。

   ssh -o StrictHostKeyChecking=no -i " ../my_key.pem " ubuntu@ $PUBLIC_IPv4_DNS
   sudo apt install unzip
   unzip -o deployment.zip
   chmod +x sample_deployment.sh
   sudo bash -x sample_deployment.sh

4. 根據上述建立和部署。如果未識別命令SAM，請在此處閱讀SAM文檔。
5. 不要忘記使用後終止實例。

回饋

歡迎反饋和貢獻！