concept resolver

Un service de résolution de nom pour les concepts biomédicaux, en utilisant des bases de données vectorielles et une recherche de similitude

Déclaration de problème

La résolution des étiquettes conceptuelles à des identificateurs standardisés des bases de données existantes est une exigence fondamentale dans le processus d'annoter les données biomédicales. Alors que plusieurs services d'annotation, dont Bioportal et le Traductor Name Resolution Service, sont disponibles, la plupart d'entre eux s'appuient sur des mécanismes d'appariement simples (respectivement MGREP et SOLR). Malheureusement, ces mécanismes sont souvent en deçà lorsqu'ils traitent des étiquettes conceptuelles qui présentent des variations substantielles des identificateurs standardisés ou lorsqu'ils traitent des synonymes.

Approche

Nous proposons d'explorer l'utilisation de la recherche de similitude vectorielle pour améliorer la précision de la résolution du concept. Nous tirons parti de l'ensemble de données approfondie recueilli par le traducteur Babel Project, qui comprend un vaste référentiel d'identifiants, d'étiquettes et de synonymes du domaine biomédical (PubChem, Chembl, Uniprot, Mondo, Omim, HGNC, DrugBank, et plus).

Objectifs

Pendant le hackathon d'annotation lié à la biomédicale, nos objectifs clés sont les suivants:

1. Choisir une base de données vectorielle et un modèle d'intégration de texte : nous évaluerons les modèles de base de données vectorielle et de texte open source disponibles pour en choisir un qui correspond à nos besoins. Nous pourrions également choisir plusieurs et comparer leurs résultats.
2. Ingestion de données: nous établirons un flux de travail pour générer des intégres et ingérer les données du projet Babel du traducteur dans une base de données vectorielle. Cette base de données servira de base à notre service de résolution de noms.
3. Recherche de similitude vectorielle: nous implémenterons un service qui permettra aux utilisateurs de récupérer des identificateurs potentiels pour une étiquette de concept donnée, ainsi que des scores indiquant le degré de confiance. Ce service utilisera l'implémentation de recherche de similitude de base de données vectorielle
4. Évaluation : Nous examinerons les ensembles de données existants pour comparer l'efficacité de notre approche et le comparer aux services existants
5. Exploration des cas d'utilisation: En plus de la résolution du concept, nous explorerons une gamme de cas d'utilisation potentiels qui peuvent bénéficier de la base de données vectorielle. Ceux-ci peuvent inclure la découverte de synonymes, la cartographie conceptuelle et la recommandation de concept.

Le service de résolution de nom sera exposé en tant qu'API décrit OpenAPI qui prend une étiquette conceptuelle en entrée, et renvoie une liste d'entités correspondantes, représentée par un dictionnaire avec le score et leur étiquette ID Curie, Synonymes.

Bases de données vectorielles

Nom	Création	Étoiles github	Écrit dans	SDK pour	Langue de requête / API *	Implémentez les fonctions vectorielles	Commentaire
Qdrant	Juillet 2020	~ 14K	Rouiller	Python, JS, Rust, Go, .net	OpenAPI, GRPC	cosinus, euclide, point	Peut être utilisé comme outil autonome local, en mémoire ou persistant sur le disque, sans déployer un service Web
Milvus	Octobre 2019	~ 24K	Aller	Python, JS, Java, allez	OpenAPI ❓️	cosinus, euclide, produit intérieur	AKA. Cloud Zilliz
Chrome	Octobre 2022	~ 9K	Python	Python, js	OpenAPI ❓️
Tisser	Mars 2016	~ 8K	Aller	Python, JS, Java, allez	API GraphQL	cosinus, euclide
pgvecteur	Avril 2021	~ 6,5k	C	Via le SDK de Postgres ❓️	SQL	cosinus, euclide, produit intérieur, taxibab	Intégré dans PostgreSQL

* Le langage de requête / API spécifie le type de langage de requête ou API peut être utilisé pour interroger les informations dans la base de données vectorielle

Tous ces produits sont open source, et ils proposent tous une interface utilisateur Web simple pour explorer la base de données vectorielle.

La plupart d'entre eux ont une API moderne et simple (en dehors de PGVector qui vit dans PostgreSQL)

Modèles d'intégration de texte

Reference Benchmark for Text Embeddings Modèles: https://huggingface.co/blog/mteb

Classement: https://huggingface.co/spaces/mteb/leaderboard

Modèles d'intégration populaires:

• FLAGEMBEDDING bge-large-en-v1.5
• Openai text-embedding-ada-002
• HuggingFace sentence-transformers/all-MiniLM-L6-v2
• jina-embeddings-v2-base-en
• Cohere embed-english-v3.0

Ensemble de données de référence

À définir.

Benchmarks existants pour les bases de données vectorielles:

• Benchmarking voisins les plus proches: https://github.com/erikbern/ann-benchmarks/
• Article sur les repères pour les bases de données vectorielles: https://marketing.fmops.ai/blog/vector-benchmarking/
• Vectordbbench de milvus / zilliz: https://github.com/zilliztech/vectordbbench
• Benchmark de Qdrant: https://qdrant.tech/benchmarks/

Biomédical Data Benchmark

• Corpus de la maladie de NCBI: https://www.ncbi.nlm.nih.gov/cbbresearch/dogan/disease/
• Bactéries Biote 4: https://sites.google.com/view/bb-2019/dataset
• Biowic: une référence d'évaluation pour la représentation du concept biomédical
  • https://github.com/hrouhizadeh/biowic
  • https://huggingface.co/datasets/hrouhizadeh/biowic

Mappage des problèmes dans le service de résolution de noms

• Tralatorsri / Nameresolution # 81
  • "fasciite ischémique"
  • "maladie ischémique"
• "Rat" / "rats" ne renvoie pas Rattus norwegicus suffisamment élevé (Tralatorsri / Nameresolution # 127)
• "Angiotensine II" ne devrait pas correspondre à "l'angiotensine" dans First (Tralatorsri / Nameresolution # 90)
• "ACP-044 Dose A" Timeout (traducteursri / nameresolution # 95)
• "Long Covid-19" ne devrait pas correspondre à "Long" dans First (TranslatelSRI / NAMERESOLOBE # 72)
• "Dépression" devrait correspondre "au trouble dépressif" plus haut sur la liste
• "Type de diabète ..." est suspendu
• "Alzheimer" donne des "vaccins d'Alzheimer" avant "la maladie d'Alzheimer"
• "Staphylococcus négatif de la coagulase"

Résultats préliminaires sur le 19/01/2024 (synonymes de Babel n'est pas encore entièrement chargé, les fichiers manquants après le médicament: gène, protéine, organismes, voie, UMLS): la plupart des problèmes semblent être résolus en dehors de "rat" et "ACP-044 Dose A" (ne fait pas de temps mais pas de résultats intéressants)

Exécuter le projet

Démarrer les services:

docker compose up -d

Entrez dans le conteneur d' workspace pour exécuter les scripts de chargement.

Téléchargez les synonymes de Babel et chargez-les dans le vectordb:

make load

(expérimental) PubDictionnaires de chargement dans PGVector:

python src/pubdict_load.py

Limitations actuelles

1. La base de données vectorielle auto-hébergée actuelle ne prend pas en charge plusieurs vecteurs pour un seul point. Ce qui nous oblige à créer différents points pour les différents synonymes et nécessite la déduplication des résultats lors de la recherche. Ce qui nous empêche d'utiliser correctement la fonction limit du VectordB (si les 2 premiers résultats du VectordB sont du même point, nous ne rendrons que 1 résultats, ce qui ne correspondra pas à la limite de 2 demandée par l'utilisateur)

La solution possible serait d'utiliser Postgres et PGVector, avec 2 tables (une pour les incorporations, une pour Concept Infos), mais cela rendrait le système beaucoup plus complexe qu'un magasin JSON.

Y a-t-il un vectordb auto-hébergé qui peut prendre en charge plusieurs vecteurs sans nom pour un seul point? (QDrant ne prend actuellement en charge que plusieurs vecteurs nommés qui ne correspondent pas à notre cas d'utilisation)

2. Pour de très grands ensembles de données tels que l'intégration de l'ensemble de données Babel Synonyme peut être très intensif au processeur. Il nous a fallu environ 18 semaines de temps de CPU pour indexer 14 millions d'étiquettes.
3. Pour faire correspondre les fonctionnalités d'origine de la NamereSolution, plus de travail devra être fait pour améliorer l'ordre des résultats (les correspondances de préfabel devraient être plus importantes que les correspondances sur les synonymes, la préférence par les types de préfix / biolink, etc.)

Documents

Présentation d'introduction: https://docs.google.com/presentation/d/1_ntmf-lthvybbvfusdxsdbeb0wm_yr_bvnnt-ivlktc/edit

Expérience de publication: https://docs.google.com/document/d/1nipvy2zhzedmf5bjcuzcbgzifn22v9kpzfo4etxl89m/edit

Présentation de la conclusion: https://docs.google.com/presentation/d/1sjeuo4oegnmamtrvcawb0tzjzr9sgnyh-efwtjf99lg/edit

Préprint BiohackrXiv Papier: http://preview.biohackrxiv.org/papers/bdda0f94-f526-4f35-8768-8faf62d731fa/paper.pdf

API Demo: https://concept-resolver.137.120.31.102.nip.io