Clip-Imagesearch-ncnn
아이디어 :이 프로젝트는 Yongcheng 휴대 전화의 자체 사진 앨범 검색 기능에 매우 적합하다고 생각합니다. 백그라운드의 모든 그림을 배경으로 몰래 들어내어 기능을 추출하여 결국 사용하면 결과를 몇 초 안에 생성 할 수 있습니다. 또한 각 이미지의 일치 확률을 제공하며 이미지 스트림의 결과를 반환 할 확률에 따라 높음에서 낮게 표시 할 수 있습니다.
왜 그것을 하시나요 ? 실제로 GPT를하고 싶었 기 때문에 클립을하고 싶었습니다. (뻔뻔스럽게 스트림 GPT2-ChineseChat-NCNN)
무엇을 만들어야하는지 : 클립은 GPT와 동일합니다. 많은 게임 플레이를 선택했습니다. 이 프로젝트를 보았을 때, 나는 이것이 휴대 전화 앨범에 적합한 기능이라는 것을 알았습니다.
작업 목표 : NCNN을 사용하여 클립을 배포하여 자연어로 이미지를 검색합니다.
추신 : 바쁜 작업, 느린 업데이트, 단 하나의 별
참고 : 모든 사람이 다운로드 할 수 있도록 모든 모델과 실행 파일이 github에 업로드되었습니다 : https://github.com/edvince/model_zoo/releases/tag/clip-imagesearch-ncnn
데모
Android : 직접 실행할 수있는 APK
용법:
- "앨범 스캔"을 먼저 클릭하고 휴대 전화에서 일부 사진을 스캔합니다.
- 각 기간의 사진 수에 따르면 적절한 기능 추출을 선택하십시오 (시간은 숫자에 비례하고 Kirin 970의 그림은 0.5s, 천천히 등).
- 하단 상자에서 검색하려는 내용을 입력하고 영어를 사용하십시오! ! !
- 마지막으로 "검색"을 클릭하면 결과가 나타납니다 (결과는 Kirin 970에서 1.5S로 출시됩니다).
x86 : 직접 실행할 수있는 exe
사용법 : 예를 들어 버튼 순서대로 클릭하십시오.
- 먼저 "1. 갤러리 선택"을 클릭하고 Repo의 갤러리 폴더를 선택하십시오.
- 그런 다음 "2를 클릭하십시오. 갤러리 기능을 추출하여 선택한 폴더에서 모든 그림의 특성을 추출합니다.
- 원하는 그림을 설명하기 위해 텍스트 상자에 문장을 입력하면 영어를 사용해야합니다. 원하는 경우에는 중요하지 않습니다.
- 마지막으로 "4.search"를 클릭하면 프로그램이 이미지 라이브러리의 입력 텍스트와 가장 잘 어울리는 그림으로 자동으로 돌아갑니다.
작동 방식
- Clip의 Encode_image를 사용하여 이미지의 기능을 추출하고 라이브러리의 기능 벡터를 작성하십시오.
- Clip의 Encode_text를 사용하여 텍스트의 기능을 추출하고 텍스트 기능 벡터를 작성하십시오.
- 두 방향으로 일치 할 수있는 두 기능 벡터 간의 유사성을 찾거나 텍스트와 일치하거나 텍스트와 일치 할 수 있습니다.
- 당신은 모든 사진의 유사성을 얻을 수 있습니다.
- 약간의 수정 후 모바일 앨범에서 사진을 검색하는 기능으로 만들 수 있습니다.
- 그림으로 그림 검색, 캐릭터로 사진 검색, 그림으로 캐릭터 검색 및 캐릭터가있는 캐릭터 검색을 지원합니다. . . 플레이하는 방법에는 여러 가지가 있습니다. 해당 기능을 사용하여 비슷한 문제를 찾으므로 자세히 설명하지 마십시오.
- 가장 시간이 많이 걸리는 것은 실제로 갤러리의 모든 그림의 기능 벡터를 구축하고 "RN50"모델을 사용하고 RESNET50을 사용하여 그림의 기능을 추출하는 것입니다.
리포 구조
- Android : 제공된 APK 프로그램의 소스 코드
- x86 : QT를 기반으로 제공된 EXE 프로그램의 소스 코드
- 갤러리 : 테스트를위한 작은 갤러리
- 리소스 : Readme의 리소스 폴더
작업 내용
참조하십시오
- NCNN
- 클립
- 자연상 이미지 검색
