semantic image search for articles
1.0.0
Os editores digitais estão continuamente procurando maneiras de otimizar e automatizar seus fluxos de trabalho de mídia para gerar e publicar novos conteúdos o mais rápido possível, mas sem a qualidade da qualidade.
Adicionar imagens para capturar a essência do texto pode melhorar a experiência de leitura. As técnicas de aprendizado de máquina podem ajudá -lo a descobrir essas imagens. “Uma imagem impressionante é uma das maneiras mais eficazes de capturar a atenção do público e criar envolvimento com sua história - mas também precisa fazer sentido”.
Neste projeto AWS-SHAMPHS, você vê como pode usar os modelos da Amazon Titan Foundation para entender rapidamente um artigo e encontrar as melhores imagens para acompanhá-lo. Desta vez, você gera a incorporação diretamente da imagem.
Um conceito -chave na pesquisa semântica é a incorporação. Uma incorporação é uma representação numérica de alguma entrada - uma imagem, texto ou ambos - na forma de um vetor. Quando você tem muitos vetores, pode medir a distância entre eles e os vetores próximos à distância são semanticamente semelhantes ou relacionados.
A Amazon Bedrock é um serviço totalmente gerenciado que oferece uma escolha de modelos de base de alto desempenho (SFMs) das principais empresas de IA, incluindo laboratórios AI21, antropia, coere, meta, estabilidade AI e Amazon com uma única API, juntamente com um conjunto de recursos.
A Amazon Titan adicionou recentemente um novo modelo de incorporação à sua coleção, Titan multimodal incorporando. Esse novo modelo pode ser usado para pesquisa multimodal, sistemas de recomendação e outros aplicativos a jusante.
Modelos multimodais podem entender e analisar dados em várias modalidades, como texto, imagem, vídeo e áudio. Este mais recente modelo do Amazon Titan pode aceitar texto, imagens ou ambos. Isso significa que você usa o mesmo modelo para gerar incorporações de imagens e texto e usa essas incorporações para calcular quão semelhantes são os dois.
Essas etapas a seguir falam através da sequência de ações que permitem a pesquisa semântica de imagem e celebridades.
Neste exemplo, você viu como usar o Amazon Rekognition, a Amazon compreende, o Amazon Bedrock e o OpenSearch Service para extrair metadados de suas imagens e, em seguida, usar técnicas de ML para descobri -las automaticamente usando a pesquisa de celebridades e semântico. Isso é particularmente importante na indústria editorial, onde a velocidade é importante para obter um novo conteúdo rapidamente e para várias plataformas.
Como uma próxima etapa, implante a solução na sua conta do AWS e faça o upload de algumas de suas próprias imagens para testar como a pesquisa semântica pode funcionar para você.
Sam Cli
A solução usa a SAM CLI para implantação. Certifique -se de usar a versão mais recente da Sam Cli
Docker
A solução usa a opção SAM CLI para construir dentro de um recipiente para evitar a necessidade de dependências locais. Você precisará do Docker disponível para isso.
Nó
O front -end para esta solução é um aplicativo da Web React que pode ser executado localmente usando o nó
npm
A instalação dos pacotes necessários para executar o aplicativo da Web localmente ou criá -lo para implantação remota requer NPM.
Acesso aos modelos básicos
Se você deseja interagir com os modelos da Amazon Bedrock, precisa solicitar acesso aos modelos básicos em uma das regiões onde está disponível a Amazon Bedrock. Certifique-se de ler e aceitar os contratos de licença do usuário final dos modelos ou EULA.
| Modelo | Entrada máxima de token | Incorporação de dimensão | Preço para 1k de token de entrada | Preço para tokens de saída 1K |
|---|---|---|---|---|
| Amazon Multimodal Incordações | 128 | 1.024 (padrão), 384, 256 | Preço de rock | n / D |
| Texto Titan - Express | 8k | n / D | Preço de rock |
Você precisará solicitar acesso aos dois modelos acima.
Quando resumimos o texto em nosso fluxo de trabalho, podemos especificar os tokens de saída máxima no modelo Titan Text - Express, e isso garante que passemos em menos de 128 tokens para o modelo de incorporação.
O modelo de incorporação multimodal também possui um tamanho máximo de dimensão da imagem 2048x2048, que lidamos como parte da imagem que incorpora a função Lambda.
Observação:
Atualmente, essa implantação está configurada para implantar na região dos EUA-East-1. Verifique a disponibilidade da região da Amazon Bedrock e atualize o arquivo samconfig.toml para refletir a região desejada.
Recomendamos implantar com a AWS Cloud9. Se você deseja usar o Cloud9 para implantar a solução, precisará do seguinte antes de prosseguir:
m5.large como tipo de instância.Amazon Linux 2 como a plataforma.Você pode executar esses comandos na sua linha de comando/terminal ou usar a AWS Cloud9.
git clone https://github.com/aws-samples/semantic-image-search-for-articles.git cd semantic-image-search-for-articlesSe você usar o Cloud9, aumente o volume EBS da instância para pelo menos 50 GB. Para fazer isso, execute o seguinte comando do terminal Cloud9:
bash ./scripts/cloud9-resize.sh 50
Consulte a documentação para obter mais detalhes sobre redimensionamento do ambiente.
Revise este arquivo: samconfig.toml
Aqui você pode nomear sua pilha e escolher a região em que deseja implantar.
region = "us-east-1"Verifique se os serviços da AWS estão todos disponíveis na região que você está escolhendo.
Como a implantação implantará o Amazon CloudFront, isso pode levar aproximadamente 20 minutos.
O Cloud9 gera token do STS para fazer a implantação, no entanto, essas credenciais duram apenas 15 minutos; portanto, o token expirará antes que a implantação seja concluída e, portanto, você não poderá ver as saídas diretamente do Cloud9.
Como autenticar com credenciais de curto prazo Você pode exportar os tokens de chave, certificando-se de que eles duram pelo menos 30 minutos ou 1800 segundos:
export AWS_ACCESS_KEY_ID= < PASTE_ACCESS_KEY >
export AWS_SECRET_ACCESS_KEY= < PASTE_SECRET_ACCESS_KEY >
export AWS_SESSION_TOKEN= < PASTE_SESSION_TOKEN >(Se os tokens expirarem, você poderá deixar a implantação para concluir, verificando o progresso dentro da CloudFormation e depois executa novamente o script de implantação abaixo - como o recurso Amazon CloudFront já existirá, a implantação será concluída rapidamente)
A implantação da solução é alcançada com o seguinte comando:
npm install && npm run deploy Este comando executará uma série de scripts como sam build , sam deploy e alguns outros para configurar o ambiente frontal com as variáveis corretas.
A autenticação é gerenciada pela Amazon Cognito. Você precisará criar um novo usuário para poder fazer login.
Você pode encontrar o ID do userpool na saída do CloudFormation e escolher esse userpool e criar um novo usuário lá para fazer login.
Uma vez concluído, a saída da CLI mostrará um valor para o URL do CloudFront poder visualizar o aplicativo da Web, por exemplo, https://d123abc.cloudfront.net/ - você também pode ver isso nas saídas do CloudFormation.
O aplicativo da Web permite que o usuário faça upload de imagens para S3 e seja indexado pelo OpenEarch, além de emitir consultas para o OpenSearch para retornar as 10 principais imagens que estão mais semanticamente relacionadas ao conteúdo do artigo.
Para evitar incorrer em cobranças futuras, exclua os recursos.
sam delete do terminal ou vá para a CloudFormation, escolha a pilha que você implantou através do script de implantação mencionado acima e exclua a pilha. 
Consulte contribuindo para mais informações.
Esta biblioteca está licenciada sob a licença MIT-0. Veja o arquivo de licença.
