QDrant NLP

qdrant-nlp

인간을 루프에 유지합니다. 나는 Qdrant의 개발자가 아니며 그들과 직접 연관되어 있지 않지만, 그들이 우수한 것을 구축하고, 그로부터 훨씬 저평가된다고 생각합니다. 이 repo는 무엇보다 데모 역할을하기 위해 여기에 있습니다.

https://github.com/qdrant/qdrant

깔끔하고 DockerHub에서 사용할 수 있으면 완료 할 것입니다. 추가 코드없이 자신의 POC를 실행하는 데 사용할 수 있습니다.

Swagger UI를 통해이 도구의 거의 절반을 달성 할 수 있지만 분명히 데이터 중심 AI 워크 플로가 아닌 간단한 API를 맞추기 위해 설계되었으므로 유용한 구성 요소가 몇 가지 누락되었습니다. 이 작업은 https://medium.com/@george.pearse (Vector Databases Part 2)에서 더 깊이 작성됩니다.

장난감 로고는 툴링을 통해 특정 데이터 서브 세트에 실제로 집중할 수있는 방법과 활발한 학습을 ​​추가 할 수있을만큼 충분히 옮길 수있는 클래식 베이지안 그래프 사이에 있습니다.

Google 검색을 통한 포옹 -Face 문장 전송자에 대한 문서 찾기 저를 미친 듯이, https://www.sbert.net/docs/hugging_face.html

포옹 얼굴, 간소 및 Qdrant가있는 빠른 라벨링. 먼저 NLP를 지원하겠습니다. 그런 다음 이미지 지원 추가 (이 아이디어가 온 곳) 추가에 대해 생각할 것입니다.

특징

• NLP 데이터 세트의 Qdrant 벡터 데이터베이스의 대화식 생성 및 저장을 지원합니다.
• 각 쿼리에 대해 양성을 표시하고 네거티브를 표시 한 다음 결과를 표시하십시오.
• 아마도 적극적인 학습을 지원할 수도 있습니다 (결국). 활성 학습을 사용하여 유사성 검색을 최적화하고 다른 부분은 다운 스트림 미세 조정을 최적화하기 위해 두 부분 시스템을 가질 수 있습니다. 또는 가장 가까운 이웃 접근 방식이 가장 확실하지 않은 데이터 포인트 (거의 즉시 업데이트 될 수 있기 때문에)와 임베딩을 생성하는 모델을 수정하기 위해 업데이트 할 것입니다.
• 껴안기면에서 직접 데이터 세트 다운로드를 활성화하십시오 (임베딩)
• 임베딩을 생성하는 동안 로딩 표시.
• sqlitedb 쿼리 결과를 저장하려면 쿼리 결과를 저장하고 Queries +의 이름은 MIMIC 데이터 세트에서 한 것처럼 휴리스틱 기반 물건을 실행할 수 있습니다.

배포 경험 향상

• 간소, Qdrant 및 Fastapi를위한 Docker-Compose 파일 하나
• Dockerhub를 통해 Docker 이미지를 사용할 수 있습니다

QDRANT를 사용하는 완전한 블로우 솔루션은 Kern.ai를 참조하십시오. 이 도구는 벡터 데이터베이스에 대한 소개 역할을하기에 충분히 간단합니다. Python API를 통한 것처럼 요청을 작성하고 볼 수 있습니다.

마찬가지로, Koaning/Bulk는 우수하지만 UMAP (대체 차원 감소 기술 삽입)가 모든 뉘앙스를 잃고 높은 수준의 시각화가 데이터 세트에 가치를 제공하지 못하는 경우 어떻게해야합니까?

또한 Fastapi에 작은 테스트 실행을 제공하고 싶었으므로 저장하는 각 쿼리 (사후 요청)마다 쿼리 이름으로 FastApi 엔드 포인트를 누르면 결과를받을 수 있습니다.

이러한 도구를 멀티 모달 데이터 세트에 적용하려면 각 구성 요소에 대한 임베딩을 연결하면 동일한 TechnQiues와 함께 이동하면됩니다.

NB : 다른 이름

• 더 진지하게 받아들이고 구성 요소를 업그레이드하면이 물건을 그루퍼라고 부릅니다.
• 또는 carve-n-serve (사람들이 실제로 Fastapi 구성 요소를 좋아하는 경우). 데이터를 작은 덩어리로 조각합니다.

가장 가까운 K 대신 유사성 컷오프를 적용하는 것이 합리적 일 수 있습니다.

실행 :

시작하려면 그냥 달리십시오

 docker-compose up