semantic image search for articles

使用亚马逊泰坦多模式嵌入模型的语义图像搜索

数字出版商一直在寻找方法来简化和自动化其媒体工作流程以尽快生成和发布新内容，但没有预言质量。

添加图像以捕获文本的本质可以改善阅读体验。机器学习技术可以帮助您发现此类图像。 “惊人的形象是吸引观众注意并引起与故事的互动的最有效方法之一 - 但这也必须是有道理的。”

在此AWS样本项目中，您可以看到如何使用Amazon Titan Foundation Models快速理解一篇文章并找到最佳的图像。这次，您直接从图像中生成嵌入。

语义搜索的关键概念是嵌入。嵌入是某些输入（图像，文本或两者兼有）的数值表示。当您有许多向量时，您可以测量它们之间的距离，而距离接近的向量在语义上相似或相关。

亚马逊BedRock是一项全面管理的服务，可从领先的AI公司，包括AI21实验室，人类，众多，Meta，Meta，稳定性AI和Amazon，具有单个API以及一套广泛的功能，可帮助您简化生成的AI应用程序，同时维护隐私和安全性的同时，从而提供高效的AI公司，包括AI21实验室，拟人化，cohere，meta，稳定性AI和亚马逊的高性能基础模型（FMS），可供选择。

亚马逊泰坦（Amazon Titan）最近在其系列泰坦多模式嵌入式中添加了一个新的嵌入模型。该新模型可用于多模式搜索，推荐系统和其他下游应用程序。

多模型模型可以理解和分析多种模式的数据，例如文本，图像，视频和音频。最新的亚马逊泰坦模型可以接受文本，图像或两者兼而有之。这意味着您使用相同的模型生成图像和文本的嵌入，并使用这些嵌入来计算两者的相似程度。

部署完整的堆栈应用程序

以下步骤通过一系列动作，可以实现语义图像和名人搜索。

1. 您将图像上传到Amazon S3存储桶
2. Amazon EventBridge聆听此事件，然后触发AWS步骤函数执行
3. 步骤功能获取Amazon S3图像详细信息并运行3个并行操作
4. API致电亚马逊重新认知检测标签以提取对象元数据
5. API呼吁Amazon Rekognition ventizecelebrites API提取任何已知的名人
6. AWS lambda将图像调整为ML嵌入模型的接受的最大尺寸，并直接从图像输入中生成嵌入
7. 然后，lambda函数插入图像对象元数据和名人名称（如果存在），将作为k-nn向量的嵌入到OpenSearch服务索引索引中
8. Amazon S3拥有一个由Amazon Cloudfront分发的简单静态网站。前端用户界面（UI）允许您使用Amazon Cognito使用应用程序来验证图像
9. 您通过UI提交文章或一些文本
10. 另一个lambda功能称亚马逊理解是将文本中的任何名称视为潜在名人
11. 然后，该函数总结了文本，以使用Titan Text G1 -Express获取文章中的相关点
12. 该函数使用Titan多模型生成汇总文章的嵌入。
13. 然后，该功能使用精确的K-NN使用带有评分脚本的精确的K-NN搜索与名人名称和k-near的邻居相匹配的图像和k-nearthiend邻居的图像。
14. Amazon CloudWatch和AWS X射线使您可以观察到端到端工作流程，以提醒您任何问题。

结论

在此示例中，您看到了如何使用Amazon Rekognition，Amazon Claceers，Amazon Bedrock和OpenSearch Service从图像中提取元数据，然后使用ML技术使用名人和语义搜索自动发现它们。这在出版行业中尤为重要，在出版行业中，速度在快速获取新鲜内容和多个平台方面至关重要。

作为下一步，将解决方案部署在您的AWS帐户中，并上传您自己的一些图像，以测试语义搜索如何适合您。

部署步骤

先决条件

• Sam Cli

  该解决方案使用SAM CLI进行部署。确保使用最新版本的SAM CLI

• Docker

  该解决方案使用SAM CLI选项在容器内构建，以避免对本地依赖性的需求。您将需要Docker。

• 节点

  该解决方案的前端是一个React Web应用程序，可以使用节点在本地运行

• NPM

  在本地运行Web应用程序或构建远程部署所需的软件包的安装需要NPM。

亚马逊基岩要求

基本模型访问

如果您想与亚马逊基地岩的型号进行互动，则需要在可用的亚马逊基岩的一个区域中要求访问基本型号。确保阅读和接受模型的最终用户许可协议或EULA。

模型	最大令牌输入	嵌入维度	1K输入令牌的价格	1K产出令牌的价格
亚马逊多模式嵌入	128	1,024（默认），384，256	基岩价格	N/A。
泰坦文字 - 表达	8k	N/A。	基岩价格

您需要请求访问上述两个模型。

当我们总结工作流程中的文本时，我们可以在Titan Text -Express模型上指定最大输出令牌，这确保我们将少于128个令牌传递给嵌入模型。

多模式嵌入模型还具有2048x2048的最大图像尺寸大小，我们作为图像嵌入lambda函数的一部分进行处理。

笔记：

• 您可以将解决方案部署到所需的基本模型访问的不同区域。
• 尽管基本模型访问批准是即时的，但可能需要几分钟才能访问并查看UI中的模型列表。

部署

目前，该部署用于部署到美国 - EAST-1区域。请检查Amazon Bedrock区域可用性，并更新Samconfig.toml文件以反映您所需的区域。

环境设置

与AWS Cloud9部署

我们建议使用AWS Cloud9部署。如果您想使用cloud9部署解决方案，则需要以下内容，然后再继续进行以下操作：

• 至少选择m5.large作为实例类型。
• 使用Amazon Linux 2作为平台。

您可以从命令行/终端运行这些命令，也可以使用AWS Cloud9。

1. 克隆存储库

git clone https://github.com/aws-samples/semantic-image-search-for-articles.git

2. 进入克隆的存储库

 cd semantic-image-search-for-articles

（可选）仅适用于云

如果您使用Cloud9，请将实例的EBS量至少增加到50GB。为此，请从Cloud9终端运行以下命令：

 bash ./scripts/cloud9-resize.sh 50

有关环境大小的更多详细信息，请参见文档。

查看此文件：samconfig.toml

在这里，您可以命名堆栈，然后选择要部署的区域。

• region = "us-east-1"

检查您选择的区域中是否可以使用AWS服务。

由于部署将部署Amazon Cloudfront，因此大约需要20分钟。

Cloud9生成STS令牌以进行部署，但是，这些凭据仅持续15分钟，因此令牌将在部署完成之前到期，因此您将无法直接从Cloud9中看到输出。

如何使用短期凭据进行身份验证您可以导出访问密钥令牌，确保它们持续至少30分钟或1800秒：

 export AWS_ACCESS_KEY_ID= < PASTE_ACCESS_KEY >
export AWS_SECRET_ACCESS_KEY= < PASTE_SECRET_ACCESS_KEY >
export AWS_SESSION_TOKEN= < PASTE_SESSION_TOKEN >

（如果令牌确实过期，则可以将部署放置完成，检查云形式中的进度，然后在下面重新运行部署脚本 - 由于Amazon CloudFront资源将已经存在，部署将快速完成）

运行应用程序的部署

通过以下命令实现解决方案的部署：

npm install && npm run deploy

该命令将运行一系列脚本，例如sam build ， sam deploy和其他一些脚本，以使用正确的变量来设置前端环境。

为Web应用程序创建登录详细信息

该身份由Amazon Cognito管理。您将需要创建一个新用户才能登录。

您可以从CloudFormation输出中找到USERPOOL ID，然后选择该用户池并在那里创建一个新用户以登录。

登录到您的新Web应用程序

完成后，CLI输出将显示CloudFront URL能够查看Web应用程序的值，例如https://d123abc.cloudfront.net/-您也可以在CloudFormation Outputs中看到这一点。

行政

Web应用程序允许用户将图像上传到S3，并通过OpenSearch进行索引，并发出查询OpenSearch，以返回与文章内容最相关的前10个图像。

清理

为避免产生未来的费用，请删除资源。

1. 找到使用此解决方案部署的S3存储桶并清空桶
2. 从终端运行sam delete ，或转到CloudFormation，选择您通过上述部署脚本部署的堆栈，然后删除堆栈。

安全

有关更多信息，请参见贡献。

执照

该图书馆已获得MIT-0许可证的许可。请参阅许可证文件。