vector based semantic text search

使用Amazon OpenSearch服务基于向量的语义搜索

这是一个基于向量的语义文本搜索项目。

cdk.json文件告诉CDK Toolkit如何执行您的应用程序。

该项目就像标准Python项目一样。初始化过程还会在该项目中创建一个Virtualenv，该项目存储在.venv目录下。为了创建Virtualenv，假设可以在您的路径中使用python3 （或用于Windows的python ），可以访问venv软件包。如果出于任何原因，Virtualenv的自动创建失败，则可以手动创建Virtualenv。

在MacOS和Linux上手动创建Virtualenv：

 $ python3 -m venv .venv

INIT过程完成并创建VirtualEnv之后，您可以使用以下步骤激活Virtualenv。

 $ source .venv/bin/activate

如果您是Windows平台，则可以激活类似的Virtualenv：

 % .venvScriptsactivate.bat

激活Virtualenv后，您可以安装所需的依赖项。

 (.venv) $ pip install -r requirements.txt

此时，您现在可以合成此代码的云形式模板。

 （.venv）$ CDK合成器
              - 参数sagemakernotebookinstanceType =“您的现实型” 
              - 参数openSearchDomainName =“ your-opensearch-domain-name ” 
              - 参数EC2KeypairName =“ your-ec2-key-pair-name ”

使用cdk deploy命令创建上面显示的堆栈。

 （.venv）$ cdk部署
              - 参数sagemakernotebookinstanceType =“您的现实型” 
              - 参数openSearchDomainName =“ your-opensearch-domain-name ” 
              - 参数EC2KeypairName =“ your-ec2-key-pair-name ”

要添加其他依赖项，例如其他CDK库，只需将它们添加到您的setup.py pip install -r requirements.txt

用法

cdk deploy完成后，在您的Amazon Sagemaker笔记本实例上打开Jupyter笔记本。然后，将*.ipynb文件上传到您的sagemaker笔记本上，用于完成实验室的其余部分。

*.ipynb文件	内核规格
语义text-search-tf.ipynb	conda_tensorflow_p36
语义text-search-tf2.ipynb	conda_tensorflow2_p36

有用的命令

• cdk ls列表应用中的所有堆栈
• cdk synth排放合成的云形式模板
• cdk deploy此堆栈到您的默认AWS帐户/区域
• cdk diff将部署的堆栈与当前状态进行比较
• cdk docs打开CDK文档

享受！

参考

• 使用Amazon OpenSearch Service Vector Engine（2023-08-21）尝试语义搜索
• 文本相似性搜索与矢量字段
• 基于向量的语义搜索使用Elasticsearch
• 通用句子编码器（TF2.0版本4）
• opensearch k-nn