clip image search

Pesquisa de imagem usando clipe

Recupere as imagens com base em uma consulta (texto ou imagem), usando o modelo de clipe pré -treinado da IA.

Texto como consulta.

Imagem como consulta.

Introdução

O clipe (pré-treinamento de imagem de linguagem contrastiva) é uma rede neural treinada em uma variedade de pares (imagem, texto). Ele pode mapear imagens e texto no mesmo espaço latente, para que possam ser comparados usando uma medida de similaridade.

Estendendo o trabalho neste repositório, criei um mecanismo de pesquisa de imagens simples que pode tomar texto e imagens como consulta. O mecanismo de pesquisa funciona da seguinte maneira:

1. Use o codificador de imagem para calcular o vetor de recurso das imagens no conjunto de dados.
2. Indexem as imagens no seguinte formato:

    image_id: {"url": https://abc.com/xyz, "feature_vector": [0.1, 0.3, ..., 0.2]}
   

3. Calcule o vetor de recurso da consulta. (Use o codificador de texto se a consulta for texto. Use o codificador de imagem se a consulta for imagem.)
4. Calcule as semelhanças de cosseno entre o vetor de recurso da consulta e o vetor de recurso das imagens no conjunto de dados.
5. Retornar $ k $ imagens que têm a maior semelhança.

Usei a versão Lite do conjunto de dados UNSPLASH que contém 25.000 imagens. A pesquisa vizinha mais antiga é alimentada pelo Amazon Elasticsearch Service. Implantei o serviço de consulta como uma função da AWS Lambda e coloquei um gateway de API na frente dele. O front -end é desenvolvido usando o streamlit.

Possíveis melhorias

• O vetor de recurso em saída pelo clipe é um vetor de ponto flutuante de 32 bits com 512 dimensões. Para reduzir o custo de armazenamento e aumentar a velocidade da consulta, podemos considerar o uso de uma técnica de redução de dimensão, como o PCA, para reduzir o número de recursos. Se queremos dimensionar o sistema para bilhões de imagens, podemos até considerar binarizando os recursos, como é feito no Pinterest.

Como usar

Instalar dependências

 pip install -e . --no-cache-dir

Baixe o conjunto de dados UNSPLASH

 python scripts/download_unsplash.py --image_width=480 --threads_count=32

Isso baixará e extrairá um arquivo zip que contém os metadados sobre as fotos no conjunto de dados. O script usará os URLs das fotos para fazer o download das imagens reais para unsplash-dataset/photos . O download pode falhar para algumas imagens (consulte este problema). Como o clipe diminuirá as imagens para 224 x 224 de qualquer maneira, convém ajustar a largura das imagens baixadas para reduzir o espaço de armazenamento. Você também pode aumentar o parâmetro threads_count para obter um desempenho mais rápido.

Crie Índice e upload de vetores de recurso de imagem para elasticsearch

 python scripts/ingest_data.py

O script baixará o modelo de clipe pré -treinado e processará as imagens por lote. Ele usará a GPU se houver um.

Construa a imagem do Docker

Construa a imagem do Docker para a AWS Lambda.

 docker build --build-arg AWS_ACCESS_KEY_ID=YOUR_AWS_ACCESS_KEY_ID 
             --build-arg AWS_SECRET_ACCESS_KEY=YOUR_AWS_SECRET_ACCESS_KEY 
             --tag clip-image-search 
             --file server/Dockerfile .

Execute a imagem do Docker como um contêiner.

 docker run -p 9000:8080 -it --rm clip-image-search

Teste o contêiner com uma solicitação de postagem.

 curl -XPOST "http://localhost:9000/2015-03-31/functions/function/invocations" -d '{"query": "two dogs", "input_type": "text"}'

Execute o aplicativo StreamLit

 streamlit run streamlit_app.py

Reconhecimento

• Open-AI/Clipe
• Haltakov/pesquisa de imagem-linguagem natural