QDrant NLP

Qdrant-NLP

Держать человека в цикле. Я не являюсь разработчиком в Qdrant и не связан с ними напрямую, но я думаю, что они построили что-то превосходное и до сих пор недооценено. Это репо является здесь, чтобы выступать в качестве демонстрации больше всего на свете.

https://github.com/qdrant/qdrant

Я назову это, как только он станет аккуратным и доступным на Dockerhub. Достаточно, чтобы вы могли бы использовать его для запуска собственного POC без какого -либо дополнительного кода.

Вы можете достичь почти половины этого инструмента только через их пользовательский интерфейс Swagger, но, очевидно, предназначен для достижения простых API, а не рабочих процессов, ориентированных на данные, поэтому ему не хватает нескольких полезных компонентов. Эта работа написана более подробно здесь https://medium.com/@george.pearse (векторные базы данных, часть 2).

Логотип игрушек находится где -то между увеличительным стеклом для того, как инструмент позволяет вам действительно сосредоточиться на конкретной подмножествах данных, и классическим байесовским графом, если я увлечен достаточно, чтобы попытаться добавить активное обучение.

Поиск документации по обнимающему предложению-трансформаторам через Google Search сводит меня с ума, она живет здесь https://www.sbert.net/docs/hugging_face.html

Быстрая маркировка с обнимающимся, потоковой и Qdrant. Сначала я буду поддерживать NLP, затем подумаю о добавлении поддержки изображений (откуда пришла эта идея).

Функции

• Поддерживает интерактивное создание и хранение запросов для базы данных Qdrant Vector для набора данных NLP.
• Для каждого запроса покажите положительные моменты, покажите негативы, а затем покажите результаты.
• Может быть, поддержать активное обучение (в конце концов). Может иметь систему двух частей, одна часть с использованием активного обучения для оптимизации поиска сходства, другая для оптимизации вниз по течению. Или один для обновления того, какой Datapoint ближайший соседский подход является наименее определенным (потому что это может быть почти мгновенно обновлено), а другой, чтобы исправить модель, которая генерирует встраивания.
• Включить загрузку наборов данных прямо от обнимающегося листа (в Entgeddings)
• Знак загрузки при генерации внедрения.
• SQLitedB для хранения результатов запроса и имен запросов +, возможно, запускает эвристические вещи, как вы это сделали в наборе данных MIMIC.

Улучшение опыта развертывания

• Один файл с композитом Docker для потоковой связи, Qdrant и Fastapi
• Сделайте доктериальные изображения доступными через Dockerhub

См. Kern.ai для полноценного решения, которое использует Qdrant за кулисами. Этот инструмент предназначен для того, чтобы быть достаточно простым, чтобы действовать как вступление в векторные базы данных. Вы можете написать и увидеть запросы так же, как и через Python API.

Точно так же коансинг/объем превосходен, но что, если UMAP (методика уменьшения альтернативной размерности здесь) теряет все нюансы, а визуализации высокого уровня не могут обеспечить ценность для вашего набора данных?

Я также хотел дать Fastapi крошечный тестовый запуск, поэтому для каждого запроса (запрос на почту) вы сохраняете, вы можете получить его результаты, достигнув конечной точки Fastapi с именем запроса.

Чтобы применить эти инструменты к многомодальному набору данных, вам нужно будет только объединить встраивание для каждого компонента, и вы выходите из всех тех же технических технологий.

NB: Другие имена

• Подумайте о том, чтобы называть эту штуку побуждения, если вы относитесь к этому более серьезно и обновите компоненты
• Или, Carve-n-Serve (если людям действительно понравился компонент Fastapi). Создать данные в небольшие куски.

Может иметь смысл применить сходство отключения вместо ближайшего К.

Запустить:

Чтобы начать, просто беги

 docker-compose up