image_search

Aplicativo de pesquisa de imagem

Introdução do projeto

O advento da Internet revolucionou a maneira como acessamos informações por meio de motores de pesquisa potentes como Google, Bing e Yandex. Com apenas algumas palavras -chave, podemos localizar rapidamente páginas da web pertinentes às nossas consultas. Como tecnologia, particularmente a IA, avança, muitos mecanismos de pesquisa agora facilitam as pesquisas de imagens on -line.

Surgiram várias técnicas para pesquisa de imagens, incluindo:

• Pesquisa de imagem por metadados: Aqui, a pesquisa não se baseia na própria imagem, mas nos metadados seguindo a imagem como (palavras -chave, texto, nome do arquivo, data etc.)
  
• Pesquisa de imagem com base no conteúdo da imagem: essa abordagem usa, técnicas de visão computacional de última geração para extrair forma, cor, quaisquer recursos relevantes de uma imagem. Esta é a técnica que vamos usar.

Neste projeto, usaremos uma rede neural convolucional pré-treinada (CNN) para extrair recursos valiosos das imagens. Essa metodologia, um componente-chave da pesquisa de imagem baseada em conteúdo, fornece os seguintes benefícios:

• A CNN é robusta: a CNN provou ser muito poderosa para extrair os principais recursos de uma imagem.
• A CNN pode reduzir a dimensão: a saída da CNN normalmente representa uma representação relevante e condensada da imagem, muitas vezes chamada de mapa, incorporação ou vetores , pois nem todo pixel possui informações significativas. Essa representação condensada geralmente tem dimensões menores.

Em resumo, neste estudo, gostaríamos de responder à seguinte pergunta: Duas imagens similares associadas a incorporação ainda são semelhantes?

Tecnologias / estruturas usadas

Descrição do projeto

Para este projeto, usamos o CIFAR-10. É um conjunto de dados disponível gratuitamente, compreendendo 60.000 imagens coloridas, cada uma medindo 32x32 pixels . Essas imagens pertencem a 10 categorias distintas: avião, automóvel, pássaro, gato, veado, cachorro, sapo, cavalo, navio e caminhão. Para obter suas incorporações correspondentes, aplicamos um modelo CNN pré-treinado, especificamente VGG-16 , para extrair recursos essenciais. O vetor resultante é 512-dimensional . Na Pinecone, criamos um índice chamado "imagens" com uma dimensão de 512, onde todos esses vetores serão armazenados.

A idéia por trás deste projeto é descobrir se imagens semelhantes de pássaros, por exemplo, têm incorporações semelhantes. Para fazer isso, enviamos 50.000 do total de 60.000 imagens associadas a incorporação a um índice Pinecone. Esta partição foi feita para garantir que tenhamos imagens totalmente novas e distintas em comparação com as já armazenadas como vetores em Pinecone. Observe também que esse parição já é feito pelo conjunto de dados CIFAR-10 em lotes de trem e teste, representando as versões serializadas das matrizes de imagens originais.

Princípio de trabalho

O picutre abaixo descreve todo o processo de armazenar as incorporações em um índice de pinecone. Desde a primeira etapa da leitura das imagens, a aplicação de uma rede neural VGG16 pré-treinada para gerar incorporações dimensionais 512 que são então ascendentes (ou seja, armazenadas) em um índice de pinecone.

Tempo de execução

Neste projeto, estamos lidando com 50 mil imagens, que apresentam alguns desafios em termos de compição, especialmente ao ler imagens, descompactar (nós downlaodamos a versão serializada do conjunto de dados CIFAR-10) e extrair recursos por meio de uma CNN. Tentamos aproveitar o poder da computação paralelo ao executar nosso código para que tudo funcione o mais rápido possível em vários núcleos de CPU via multithreading.
Nota: Se possível, execute este projeto em um ambiente alimentado por GPU para cálculos mais rápidos.

Começando

1. Crie uma conta Pinecone gratuitamente aqui.

2. Obtenha a chave da API e o ambiente associado à sua conta Pinecone

3. Clone este repositório (para obter ajuda para ver este tutorial).

4. Crie um ambiente virtual na pasta do projeto (para obter ajuda, consulte este tutorial).

5. Execute o seguinte comando para instalar os pacotes necessários.

• Para usuários do Linux:

 pip3 install -r requirements.txt

• Para usuários do Windows:

 pip install -r requirements.txt

6. Inicie o script de inserção de imagem usando o seguinte.

 python insert_data.py -key <API_KEY>  -env <ENV>  -metric <METRIC> 

Substitua <INV> e <PI_KEY> pelos valores que você obtém da sua conta Pinecone. Aguarde o script ser feito. 7. Inicie o aplicativo usando o seguinte.

 streamlit run app.py -- -key <API_KEY> -env <ENV>

Depois que tudo estiver feito, você deve ver algo assim: