vector based semantic text search

Pesquisa semântica baseada em vetor usando o Amazon OpenEarch Service

Este é um projeto de pesquisa de texto semântico baseado em vetor.

O arquivo cdk.json informa ao CDK Toolkit como executar seu aplicativo.

Este projeto é configurado como um projeto Python padrão. O processo de inicialização também cria um VirtualEnv dentro deste projeto, armazenado no diretório .venv . Para criar o VirtualEnv, assume que existe um executável python3 (ou python for Windows) em seu caminho com acesso ao pacote venv . Se, por algum motivo, a criação automática do VirtualENV falhar, você poderá criar o VirtualEnv manualmente.

Para criar manualmente um VirtualEnv no macOS e Linux:

 $ python3 -m venv .venv

Após a conclusão do processo init e o VirtualEnv é criado, você pode usar a etapa a seguir para ativar seu virtualenv.

 $ source .venv/bin/activate

Se você é uma plataforma Windows, ativará o VirtualEnv como este:

 % .venvScriptsactivate.bat

Depois que o Virtualenv for ativado, você pode instalar as dependências necessárias.

 (.venv) $ pip install -r requirements.txt

Nesse ponto, agora você pode sintetizar o modelo de formação de nuvem para este código.

 (.venv) $ CDK Synth 
              -Parâmetros SagemakernotebookInstancetype = " Your-Instance-Type " 
              --parameters OpenSearchDomainName = " Your-OpenSearch-Domain-name " 
              -Parâmetros Ec2KeypairName = " Your-ec2-key-par-name "

Use o comando cdk deploy para criar a pilha mostrada acima.

 (.Venv) $ CDK Implante 
              -Parâmetros SagemakernotebookInstancetype = " Your-Instance-Type " 
              --parameters OpenSearchDomainName = " Your-OpenSearch-Domain-name " 
              -Parâmetros Ec2KeypairName = " Your-ec2-key-par-name "

Para adicionar dependências adicionais, por exemplo, outras bibliotecas CDK, basta adicioná -las ao seu arquivo setup.py e executar o comando pip install -r requirements.txt .

Uso

Após a conclusão cdk deploy , abra o notebook Jupyter na sua instância do Amazon Sagemaker Notebook. Em seguida, faça o upload dos arquivos *.ipynb no seu notebook Sagemaker que você usa para concluir o restante do laboratório.

*.IPYNB FILE	Spec
semântico-text-search-tf.ipynb	conda_tensorflow_p36
semântico-text-search-tf2.ipynb	conda_tensorflow2_p36

Comandos úteis

• cdk ls LIST Todas as pilhas no aplicativo
• cdk synth emite o modelo de formação de nuvem sintetizada
• cdk deploy implantei essa pilha para sua conta/região AWS padrão
• cdk diff compare pilha implantada com o estado atual
• cdk docs abrem documentação CDK

Aproveitar!

Referências

• Experimente a pesquisa semântica com o Amazon OpenEnsearch Service Vector Engine (2023-08-21)
• Pesquisa de similaridade de texto com campos vetoriais
• Pesquisa semântica baseada em vetores usando o Elasticsearch
• Codificador de frase universal (TF2.0 versão 4)
• OpenSearch K-NN