CLIP ImageSearch NCNN

Clipe-imagearch-ncnn

IDEA : Eu acho que este projeto é muito adequado para a função de pesquisa de álbuns de fotos do Yongcheng Mobile Phone, esgueirando todas as fotos em segundo plano para extrair recursos, para que os resultados possam ser produzidos em segundos quando usados ​​no final. Ele também fornece a probabilidade correspondente de cada imagem, que pode ser exibida de alta a baixa, de acordo com a probabilidade de retornar o resultado do fluxo de imagem.

Por que fazer isso ? (Liderando descaradamente o fluxo GPT2-ChineSechat-NCNN)

Que modelo para fazer : Clip é o mesmo que GPT, com muitas jogabilidades. Quando vi esse projeto, sabia que essa era uma função que nasceu para se encaixar nos álbuns de telefones celulares.

Objetivo do trabalho : use o NCNN para implantar o clipe para recuperar imagens em linguagem natural.

PS : Trabalho ocupado, atualização lenta, apenas uma estrela

Nota : Para facilitar todos para baixar, todos os modelos e arquivos de execução foram enviados para o Github.

Demonstração

Android: APK que pode ser executado diretamente

uso:

1. Clique em "Digitalizar o álbum" primeiro e digitalize algumas fotos no seu telefone
2. De acordo com o número de imagens em cada período de tempo, selecione uma extração de recurso adequada (o tempo é proporcional ao número, uma imagem em Kirin 970 é 0,5s, lentamente, etc.)
3. Digite o conteúdo que deseja pesquisar na caixa inferior, use o inglês! ! !
4. Por fim, clique em "Pesquisar" e você obterá os resultados (os resultados serão lançados em 1,5s no Kirin 970)

x86: exe que pode ser executado diretamente

Uso: basta clicar na ordem dos botões, por exemplo:

1. Primeiro clique em "1.Select Gallery" e selecione a pasta da galeria do repo
2. Em seguida, clique em "2. Extrair os recursos da galeria" para extrair as características de todas as imagens na pasta selecionada.
3. Se você inserir uma frase na caixa de texto para descrever a imagem desejada, deve usar o inglês, não importa se quiser.
4. Por fim, clique em "4.earch" e o programa retornará automaticamente à imagem que melhor corresponde ao texto de entrada na biblioteca de imagens.

Como funciona

1. Use o CLIP Encode_image para extrair os recursos da imagem e construir o vetor de recurso de uma biblioteca
2. Use o CLIP Encode_Text para extrair os recursos do texto e construir o text de texto Vector
3. Encontre similaridade entre dois vetores de características, que podem ser correspondidos em duas direções, podem ser combinados com o texto ou podem ser combinados com texto
4. Você pode obter a semelhança de todas as fotos.
5. Após um pouco de modificação, você pode fazer com que ele pesquise imagens no seu álbum móvel.
6. Apoia a pesquisa de fotos com fotos, pesquisando fotos com personagens, pesquisando personagens com fotos e até pesquisando personagens com personagens. . . Existem muitas maneiras de jogar, basta usar esses recursos para encontrar problemas semelhantes, para que não entre em detalhes
7. A coisa mais demorada é a criação dos vetores de todas as imagens da galeria.

Estrutura de repo

1. Android: o código -fonte do programa APK fornecido
2. x86: o código -fonte do programa EXE fornecido, com base no QT
3. Galeria: uma pequena galeria para teste
4. Recursos: Pasta de Recursos Readme

Conteúdo de trabalho

• Classificação e exportação de modelos Pytorch
• X86 Demo
  • Se você deseja compilar, faça o download do arquivo .bin aqui e coloque -o na pasta assert do projeto x86
• Demoção Android
  • Para compilar, faça o download do arquivo .bin do link x86 acima e coloque -o na pasta assert do projeto Android

consulte

1. ncnn
2. GRAMPO
3. Pesquisa de imagem-língua natural