vector based semantic text search

Búsqueda semántica basada en vectores utilizando el servicio Amazon OpenSearch

Este es un proyecto de búsqueda de texto semántico basado en vectores.

El archivo cdk.json le dice al kit de herramientas CDK cómo ejecutar su aplicación.

Este proyecto está configurado como un proyecto Python estándar. El proceso de inicialización también crea un VirtualEnv dentro de este proyecto, almacenado en el directorio .venv . Para crear virtualenv, supone que hay un ejecutable python3 (o python para Windows) en su camino con acceso al paquete venv . Si por alguna razón la creación automática de VirtualEnv falla, puede crear el VirtualEnv manualmente.

Para crear manualmente un VirtualEnv en MacOS y Linux:

 $ python3 -m venv .venv

Una vez que se completa el proceso de inicio y se crea VirtualEnv, puede usar el siguiente paso para activar su VirtualEnv.

 $ source .venv/bin/activate

Si es una plataforma de Windows, activará el VirtualEnv así:

 % .venvScriptsactivate.bat

Una vez que se activa VirtualEnv, puede instalar las dependencias requeridas.

 (.venv) $ pip install -r requirements.txt

En este punto, ahora puede sintetizar la plantilla de CloudFormation para este código.

 (.venv) $ CDK Synth 
              --Parameters sagemakernoBookInstancetype = " Your-instance-type " 
              --Parameters OpenSearchDomaInName = " Your-OpenSearch-Domain-Name " 
              --Parameters EC2KEYPAIRNAME = " Your-EC2-Key-Pair-Name "

Use el comando cdk deploy para crear la pila que se muestra arriba.

 (.VENV) $ CDK Implement 
              --Parameters sagemakernoBookInstancetype = " Your-instance-type " 
              --Parameters OpenSearchDomaInName = " Your-OpenSearch-Domain-Name " 
              --Parameters EC2KEYPAIRNAME = " Your-EC2-Key-Pair-Name "

Para agregar dependencias adicionales, por ejemplo, otras bibliotecas CDK, simplemente agrégalas a su archivo setup.py y vuelva a ejecutar el comando pip install -r requirements.txt .

Uso

Una vez completado cdk deploy , abra el cuaderno Jupyter en su instancia de cuaderno de Amazon Sagemaker. Luego, cargue los archivos *.ipynb en su cuaderno de Sagemaker que usa para completar el resto del laboratorio.

*.ipynb archivo	especificación del núcleo
semántico-text-search-tf.ipynb	conda_tensorflow_p36
semántico-text-search-tf2.ipynb	conda_tensorflow2_p36

Comandos útiles

• cdk ls Lista todas las pilas en la aplicación
• cdk synth emite la plantilla de formación de nubes sintetizada
• cdk deploy implementar esta pila en su cuenta/región predeterminada de AWS
• cdk diff Compare la pila implementada con el estado actual
• cdk docs Open Documentation CDK

¡Disfrutar!

Referencias

• Pruebe la búsqueda semántica con el Amazon OpenSearch Service Vector Engine (2023-08-21)
• Búsqueda de similitud de texto con campos vectoriales
• Búsqueda semántica basada en vectores utilizando Elasticsearch
• Encoder de oración universal (TF2.0 versión 4)
• OpenSearch K-NN