concept resolver

Служба разрешения имен для биомедицинских концепций, используя векторные базы данных и поиск сходства

Запись о проблеме

Разрешение концептуальных меток для стандартизированных идентификаторов из существующих баз данных является фундаментальным требованием в процессе аннотирования биомедицинских данных. В то время как доступно несколько служб аннотации, в том числе биопортала и службы разрешения имен переводчика, большинство из них полагаются на простые механизмы сопоставления (соответственно MGREP и Solr). К сожалению, эти механизмы часто терпят неудачу при работе с концептуальными метками, которые демонстрируют существенные различия от стандартизированных идентификаторов или при работе с синонимами.

Подход

Мы предлагаем изучить использование поиска сходства вектора для повышения точности разрешения концепции. Мы будем использовать обширный набор данных, собранной проектом Babel Transtator, который включает в себя обширный хранилище идентификаторов, метки и синонимов из биомедицинского домена (Pubchem, Chembl, Uniprot, Mondo, Omim, HGNC, Drugbank и другие).

Цели

Во время биомедицинского связанного аннотационного хакатона наши ключевые цели заключаются в следующем:

1. Выбор модели векторной базы данных и текстовых внедрений : мы будем оценивать доступную базу данных векторных данных с открытым исходным кодом и модели текста, чтобы выбрать тот, который соответствует нашим потребностям. Мы также можем выбрать несколько и сравнить их результаты.
2. Принимание данных: мы установим рабочий процесс для создания вторжений и проглатывания данных из проекта Babel переводчика в векторную базу данных. Эта база данных послужит основой для нашей службы разрешения имени.
3. Поиск сходства вектора: мы будем реализовать услугу, которая позволит пользователям извлекать потенциальные идентификаторы для данной концептуальной метки, а также оценки, указывающие на степень уверенности. Эта служба будет использовать реализацию поиска сходства векторных баз данных
4. Оценка : мы рассмотрим существующие наборы данных, чтобы сравнить эффективность нашего подхода и сравнить его с существующими услугами
5. Изучение вариантов использования: в дополнение к разрешению концепции мы рассмотрим ряд потенциальных вариантов использования, которые могут извлечь выгоду из векторной базы данных. Они могут включать в себя обнаружение синонима, картирование концепции и рекомендацию концепции.

Служба разрешения имен будет выявлена ​​в виде API, разработанного OpenAPI, который принимает концептуальную метку в качестве ввода, и вернет список соответствующих сущностей, представленных словарем с результатом и их идентификатором, меткой, синонимов.

Векторные базы данных

Имя	Создание	Звезды GitHub	Написано в	SDK для	Язык запросов/API*	Реализовать векторные функции	Комментарий
Qdrant	Июль 2020 года	~ 14K	Ржавчина	Python, JS, Rust, Go, .net	Openapi, Grpc	Косинус, Евклид, точка	Может использоваться в качестве локального автономного инструмента, в памяти или настойчивости на диске, не развертывая веб -сервис
Милвус	Октябрь 2019	~ 24K	Идти	Python, JS, Java, Go	Openapi ❓	Косинус, Евклид, внутренний продукт	ака. Zilliz Cloud
Хрома	Октябрь 2022 года	~ 9K	Питон	Python, JS	Openapi ❓
Укоренившись	Март 2016 года	~ 8K	Идти	Python, JS, Java, Go	Graphql api	Косинус, Евклид
PGVector	Апрель 2021 года	~ 6,5k	В	Через Postgres SDK ❓	SQL	Косинус, Евклид, внутренний продукт, такси	Интегрирован в PostgreSQL

*Язык запроса/API указывает, какой тип языка запросов или API может использоваться для запроса информации в векторной базе данных

Все эти продукты являются открытым исходным кодом, и все они предлагают простой веб -интерфейс для изучения векторной базы данных.

У большинства из них есть современный и простой API (кроме PGVector, который живет в PostgreSQL)

Текст встраивает модели

Справочный эталон для текстовых моделей моделей: https://huggingface.co/blog/mteb

Таблица лидеров: https://huggingface.co/spaces/mteb/leaderboard

Популярные модели встраивания:

• Флагмбеддинг bge-large-en-v1.5
• Openai text-embedding-ada-002
• Guggingface sentence-transformers/all-MiniLM-L6-v2
• Джина Ай jina-embeddings-v2-base-en
• Cohere embed-english-v3.0

Контрольный набор данных

Быть определенным.

Существующие тесты для векторных баз данных:

• Бесценования ближайших соседей: https://github.com/erikbern/ann-benchmarks/
• Статья о тестах для векторных баз данных: https://marketing.fmops.ai/blog/vector-benchmarking/
• Vectordbbench из Milvus/Zilliz: https://github.com/zilliztech/vectordbbench
• Clackmark от Qdrant: https://qdrant.tech/benchmarks/

Биомедицинский эталон данных

• Корпус болезни NCBI: https://www.ncbi.nlm.nih.gov/cbbresearch/dogan/disease/
• Bacteria Biotope 4: https://sites.google.com/view/bb-2019/dataset
• Biowic: эталон оценки для представления биомедицинской концепции
  • https://github.com/hrouhizadeh/biowic
  • https://huggingface.co/datasets/hrouhizadeh/biowic

Сопоставление вопросов в службе разрешения имени

• TranstortorsRI/NAMERESOTURT#81
  • "Ишемический фасциит"
  • "Ишемическая болезнь"
• «Крыса»/«Крысы» не возвращают rattus norwegicus достаточно высоко (TransatorsRI/NamerEsolution#127)
• «Ангиотензин II» не должен соответствовать «ангиотензину» в первую очередь (TransatorsRI/NamerEsolution#90)
• «ACP-044 Доза A
• «Long Covid-19» не должен совпадать с «длинным» в первую очередь (Transatorsri/Nameresolution#72)
• «депрессия» должна соответствовать «депрессивному расстройству» выше в списке
• "Тип диабета ..." висит
• «Альцгеймер» дает «вакцины против болезни Альцгеймера» перед «болезнью Альцгеймера»
• «Коагулаза отрицательный стафилококк» висит

Предварительные результаты 19/01/2024 (синонимы Вавилона еще не полностью загружены, отсутствуют файлы после лекарственного средства: ген, белок, организмы, путь, UML): большинство проблем, по-видимому, решаются, кроме «крысы» и «доза ACP-044» (не время от времени, но не интересно)

Запустите проект

Начать службы:

docker compose up -d

Зайдите в контейнер workspace , чтобы запустить сценарии загрузки.

Загрузите синонимы Вавилоны и загрузите их в Vectordb:

make load

(Экспериментальный) Нагрузочные пабдикции в PGVector:

python src/pubdict_load.py

Текущие ограничения

1. Текущая самостоятельная векторная база данных не поддерживает несколько векторов для одной точки. Что заставляет нас создавать разные точки для разных синонимов и требует дедупликации результатов при поиске. Которые мешают нам правильно использовать limit функцию от VectordB (если 2 первые результаты из VectordB находятся с той же точки, то мы вернем только 1 результат, что не соответствует пределу 2, спросил пользователь)

Возможным решением будет использование Postgres и PGVector, с 2 таблицами (одна для внедрения, одна для концепции Infos), но это сделает систему гораздо более сложной, чем магазин JSON.

Существует ли какой-нибудь самостоятельный вектор, который может поддерживать несколько неназванных векторов в течение одной точки? (Qdrant в настоящее время поддерживает только несколько именованных векторов, которые не соответствуют нашему варианту использования)

2. Для действительно больших наборов данных, таких как набор набора синонимов Babel, может быть довольно интенсивным процессором. Нам потребовалось ~ 18 недель процессора, чтобы индексировать 14 миллионов ярлыков.
3. Чтобы соответствовать исходным функциональным возможностям NamerEsolution больше работы, необходимо будет проделать большую работу для улучшения порядка результатов (соответствия префлаблетов должны быть более важными, чем совпадения по синонимам, предпочтения по типам префикса/биолинка и т. Д.)

Документы

Введение Презентация: https://docs.google.com/presentation/d/1_ntmf-lthvybbvfusdxsdbeb0wm_yr_bvnnt-ivlktc/edit

Pubdictionary Эксперимент: https://docs.google.com/document/d/1nipvy2zhzedmf5bjcuzcbgzifn22v9kpzfo4etxl89m/edit

Заключение презентация: https://docs.google.com/presentation/d/1sjeuo4oegnmatrvcawb0tzjzr9sgnyh-efwtjf99lg/edit

Preprint biohackrxiv Paper: http://preview.biohackrxiv.org/papers/bdda0f94-f526-4f35-8768-8faf62d731fa/paper.pdf

Демо-API: https://concept-resolver.137.120.31.102.nip.io