concept resolver

Un servicio de resolución de nombre para conceptos biomédicos, utilizando bases de datos vectoriales y búsqueda de similitud

Declaración del problema

Resolver etiquetas conceptuales a identificadores estandarizados de bases de datos existentes es un requisito fundamental en el proceso de anotación de datos biomédicos. Si bien están disponibles varios servicios de anotación, incluido el bioportal y el servicio de resolución de nombre del traductor, la mayoría de ellos dependen de mecanismos de correspondencia directos (respectivamente MGREP y Solr). Desafortunadamente, estos mecanismos a menudo se quedan cortos cuando se trata de etiquetas conceptuales que exhiben variaciones sustanciales de identificadores estandarizados o cuando se trata de sinónimos.

Acercarse

Proponemos explorar el uso de la búsqueda de similitud vectorial para mejorar la precisión de la resolución conceptual. Aprovecharemos el extenso conjunto de datos reunido por el Proyecto Traductor Babel, que incluye un vasto depósito de identificadores, etiquetas y sinónimos del dominio biomédico (Pubchem, Chembl, Uniprot, Mondo, Omim, HGNC, DrugBank y más).

Objetivos

Durante el hackathon de anotación vinculada biomédica, nuestros objetivos clave son los siguientes:

1. Elegir una base de datos vectorial y modelo de integración de texto : evaluaremos la base de datos vectorial de código abierto disponibles y los modelos de integración de texto para elegir uno que se ajuste a nuestras necesidades. También podríamos elegir múltiples y comparar sus resultados.
2. Ingestión de datos: estableceremos un flujo de trabajo para generar integridades e ingerir los datos del proyecto traductor Babel en una base de datos vectorial. Esta base de datos servirá como base para nuestro servicio de resolución de nombres.
3. Búsqueda de similitud vectorial: implementaremos un servicio que permitirá a los usuarios recuperar identificadores potenciales para una etiqueta conceptual dada, junto con puntajes que indican el grado de confianza. Este servicio utilizará la implementación de búsqueda de similitud de base de datos vectorial
4. Evaluación : analizaremos los conjuntos de datos existentes para comparar la eficiencia de nuestro enfoque y compararlo con los servicios existentes
5. Explorando los casos de uso: además de la resolución conceptual, exploraremos una gama de posibles casos de uso que pueden beneficiarse de la base de datos de vectores. Estos pueden incluir el descubrimiento de sinónimos, el mapeo conceptual y la recomendación de concepto.

El servicio de resolución de nombre se expusirá como una API descrita de OpenAPI que toma una etiqueta conceptual como entrada y devuelve una lista de entidades coincidentes, representada por un diccionario con el puntaje y su ID Curie, etiqueta, sinónimos.

Bases de datos vectoriales

Nombre	Creación	Estrellas de Github	Escrito	SDK para	Lenguaje de consulta/API*	Implementar funciones vectoriales	Comentario
Qdrant	Julio de 2020	~ 14k	Óxido	Python, JS, Rust, Go, .net	Openapi, GRPC	coseno, euclid, punto	Se puede utilizar como herramienta independiente local, en la memoria o persistente en el disco, sin implementar un servicio web
Milvus	Octubre de 2019	~ 24k	Ir	Python, JS, Java, Go	Openapi ❓️	coseno, euclid, producto interno	también conocido como. Zilliz Cloud
Croma	Octubre de 2022	~ 9k	Pitón	Python, JS	Openapi ❓️
Tejido	Marzo de 2016	~ 8k	Ir	Python, JS, Java, Go	API GraphQL	coseno, euclides
pgvector	Abril de 2021	~ 6.5k	do	A través de Postgres SDK ❓️	Sql	coseno, euclid, producto interno, taxi	Integrado en PostgreSQL

*El lenguaje de consulta/API especifica qué tipo de lenguaje de consulta o API se puede utilizar para consultar la información dentro de la base de datos de Vector

Todos esos productos son de código abierto, y todos proponen una interfaz de usuario web simple para explorar la base de datos Vector.

La mayoría de ellos tienen una API moderna y simple (aparte de Pgvector que vive dentro de PostgreSQL)

Modelos de incrustación de texto

Referencia de referencia para modelos de incrustaciones de texto: https://huggingface.co/blog/mteb

Tabla de clasificación: https://huggingface.co/spaces/mteb/leaderboard

Modelos de incrustación populares:

• Flagemberding bge-large-en-v1.5
• OpenAI text-embedding-ada-002
• Huggingface sentence-transformers/all-MiniLM-L6-v2
• Jina Ai jina-embeddings-v2-base-en
• Cohere embed-english-v3.0

Conjunto de datos de referencia

Ser definido.

Puntos de referencia existentes para bases de datos vectoriales:

• Benchmarking Vecinos más cercanos: https://github.com/erikbern/ann-benchmarks/
• Artículo sobre puntos de referencia para bases de datos vectoriales: https://marketing.fmops.ai/blog/vector-benchmarking/
• Vectordbbench de Milvus/Zilliz: https://github.com/zilliztech/vectordbbench
• Benchmark de Qdrant: https://qdrant.tech/benchmarks/

Punto de referencia de datos biomédicos

• Corpus de la enfermedad de NCBI: https://www.ncbi.nlm.nih.gov/cbbresearch/dogan/disease/
• Bacteria Biotope 4: https://sites.google.com/view/bb-2019/dataset
• Biowic: un punto de referencia de evaluación para la representación del concepto biomédico
  • https://github.com/hrouhizadeh/biowic
  • https://huggingface.co/datasets/hrouhizadeh/biowic

Problemas de mapeo en el servicio de resolución de nombres

• Tradatorsri/nameresolution#81
  • "Fascitis isquémica"
  • "Enfermedad isquémica"
• "Rata"/"ratas" no devuelve a Rattus norweguicus lo suficientemente alto (tradatorsri/nameresolution#127)
• "Angiotensin II" no debe coincidir con "Angiotensin" en First (Translatorsri/Nameresolution#90)
• "ACP-044 dosis A" Tiempo de espera (Translatorsri/Nameresolution#95)
• "Long Covid-19" no debe coincidir con "Long" en First (Translatorsri/Nameresolution#72)
• "Depresión" debería igualar "trastorno depresivo" más alto en la lista
• "Tipo de diabetes ..." Hangs
• "Alzheimer" da "vacunas de Alzheimer" antes de "enfermedad de Alzheimer"
• Se cuelga de "coagulasa negativa de Staphylococcus"

Resultados preliminares en el 19/01/2024 (sinónimos de Babel aún no cargados completamente, faltantes archivos después del fármaco: gen, proteínas, organismos, vía, UML): la mayoría de los problemas parecen resolverse aparte de la "rata" y la dosis de "ACP-044 A" (no se hace tiempo de tiempo, pero no hay resultados interesantes)

Ejecutar el proyecto

Servicios de inicio:

docker compose up -d

Entra en el contenedor workspace para ejecutar los scripts de carga.

Descargue los sinónimos de Babel y cargándolos en el vectordb:

make load

(experimental) Carga de pubdictorios en PGVector:

python src/pubdict_load.py

Limitaciones actuales

1. La base de datos de vectores autohostada actual no admite múltiples vectores para un solo punto. Que nos obliga a crear diferentes puntos para los diferentes sinónimos, y requiere la deduplicación de los resultados cuando se busca. Que nos impiden usar correctamente la función limit del vectordB (si los 2 primeros resultados del vectordB son del mismo punto, entonces solo devolveremos 1 resultados, lo que no coincidirá con el límite de 2 solicitado por el usuario)

La posible solución sería usar Postgres y PGVector, con 2 tablas (una para incrustaciones, una para Concept Infos), pero eso haría que el sistema sea mucho más complejo que una tienda JSON.

¿Hay algún vectordB autohospedado que pueda admitir múltiples vectores sin nombre para un solo punto? (Qdrant actualmente solo admite múltiples vectores con nombre que no se ajustan a nuestro caso de uso)

2. Para conjuntos de datos realmente grandes, como el conjunto de datos de sinónimo de Babel, la incrustación puede ser bastante intensiva en CPU. Nos llevó ~ 18 semanas de tiempo de CPU indexar 14 millones de etiquetas.
3. Para que coincida con las funcionalidades originales de Nameresolution, se deberá realizar más trabajo para mejorar el orden de los resultados (las coincidencias preflabelas deberían ser más importantes que las coincidencias en los sinónimos, la preferencia por los tipos de prefijo/biolink, etc.)

Documentos

Introducción Presentación: https://docs.google.com/presentation/d/1_ntmf-lthvybbbvfusdxsdbeb0wm_yr_bvnnt-ivlktc/edit

Experimento de pubdictorios: https://docs.google.com/document/d/1nipvy2zhzedmf5bjcuzcbgzifn22v9kpzfo4etxl89m/edit

Conclusión Presentación: https://docs.google.com/presentation/d/1sjeuo4oegnmamtrvcawb0tzjzr9sgnyh-efwtjf99lg/edit

Preprint biohackrxiv Paper: http://preview.biohackrxiv.org/papers/bdda0f94-f526-4f35-8768-8faf62d731fa/paper.pdf

API de demostración: https://concept-resolver.137.120.31.102.nip.io