concept resolver

使用矢量數據庫和相似性搜索的生物醫學概念的名稱分辨率服務

問題陳述

將概念標籤解析到現有數據庫中的標準化標識符中，這是註釋生物醫學數據的基本要求。儘管有幾種註釋服務，包括生物質量和翻譯名稱分辨率服務，但其中大多數依賴於直接的匹配機制（分別是MGREP和SOLR）。不幸的是，當處理具有標準化標識符或處理同義詞時表現出很大變化的概念標籤時，這些機制通常會缺乏。

方法

我們建議探索媒介相似性搜索的使用，以提高概念解決的準確性。我們將利用Translator Babel項目收集的廣泛數據集，其中包括來自生物醫學領域的大量標識符，標籤和同義詞的存儲庫（PubChem，Chembl，Chembl，Uniprot，Mondo，Mondo，Mondo，OMIM，HGNC，Drugbank等）。

目標

在生物醫學鏈接的註釋黑客馬拉松期間，我們的主要目標如下：

1. 選擇矢量數據庫和文本嵌入式模型：我們將評估可用的開源矢量數據庫和文本嵌入模型，以選擇適合我們需求的模型。我們也可能選擇多個，並比較他們的結果。
2. 數據攝入：我們將建立一個工作流程，以生成嵌入，並將轉換器Babel項目的數據攝入到矢量數據庫中。該數據庫將作為我們名稱解決服務的基礎。
3. 向量相似性搜索：我們將實施一項服務，該服務將使用戶能夠檢索給定概念標籤的潛在標識符，以及表明信心程度的分數。該服務將使用矢量數據庫相似性搜索實現
4. 評估：我們將研究現有的數據集，以基准我們方法的效率，並將其與現有服務進行比較
5. 探索用例：除了概念解決方案外，我們還將探索一系列可能受益於矢量數據庫的潛在用例。這些可能包括同義詞發現，概念映射和概念建議。

名稱“分辨率服務”將被公開為開放式API，以概念標籤為輸入，並返回由帶有分數和其ID curie的字典表示的匹配實體列表，標籤，標籤，同義詞。

向量數據庫

姓名	創建	Github星星	寫在	SDK	查詢語言/API*	實施向量功能	評論
QDRANT	2020年7月	〜14k	銹	Python，JS，Rust，Go，.net	OpenAPI，GRPC	餘弦，歐幾里得，點	可以用作本地獨立工具，在內存或磁盤上持續使用，而無需部署Web服務
米爾維斯	2019年10月	〜24K	去	Python，JS，Java，去	Openapi❓️	餘弦，歐幾里得，內部產品	又名。 Zilliz雲
色度	2022年10月	〜9K	Python	Python，JS	Openapi❓️
編織	2016年3月	〜8K	去	Python，JS，Java，去	GraphQL API	餘弦，歐幾里得
PGVECTOR	2021年4月	〜6.5k	c	通過Postgres SDK❓️	SQL	餘弦，歐幾里得，內部產品，出租車	集成在Postgresql中

*查詢語言/API指定可以使用哪種查詢語言或API來查詢矢量數據庫中的信息

所有這些產品都是開源的，他們都提出了一個簡單的Web UI來探索矢量數據庫。

他們中的大多數都有現代而簡單的API（除了居住在PostgreSQL中的PGVECTOR之外）

文本嵌入模型

文本嵌入式模型的參考基準：https：//huggingface.co/blog/mteb

排行榜：https：//huggingface.co/spaces/mteb/leaderboard

流行的嵌入模型：

• Flagembed bge-large-en-v1.5
• Openai text-embedding-ada-002
• 擁抱面sentence-transformers/all-MiniLM-L6-v2
• Jina jina-embeddings-v2-base-en
• cohere embed-english-v3.0

基準數據集

定義。

矢量數據庫的現有基準：

• 基準測試最近的鄰居：https：//github.com/erikbern/ann-benchmarks/
• 有關矢量數據庫基準的文章：https：//marketing.fmops.ai/blog/vector-benchmarking/
• Milvus/Zilliz的VectordBbench：https：//github.com/zilliztech/VectordBbench
• qdrant的基準：https：//qdrant.tech/benchmarks/

生物醫學數據基準

• NCBI病語料庫：https：//www.ncbi.nlm.nih.gov/cbbresearch/dogan/disease/
• 細菌生物植物4：https：//sites.google.com/view/bb-2019/dataset
• 生物遵守：生物醫學概念表示的評估基準
  • https://github.com/hrouhizadeh/biowic
  • https://huggingface.co/datasets/hrouhizadeh/biowic

名稱分辨率服務的映射問題

• TranslatorsRi/Nameresolution＃81
  • “缺血性筋膜炎”
  • “缺血性疾病”
• “老鼠”/“老鼠”不返回高高的Rattus Norwegicus（TranslatorsRi/Nameresolution＃127）
• 首先，“血管緊張素II”不應匹配“血管緊張素”（TranslatorsRi/Nameresolution＃90）
• “ ACP-044劑量”超時（TranslatorsRi/nameresolution＃95）
• “長covid-19”不應匹配“長”（translatorsri/nameresolution＃72）
• “抑鬱”應該匹配“抑鬱症”較高的抑鬱症
• “糖尿病類型...”懸掛
• “阿爾茨海默氏症”在“阿爾茨海默氏病”之前給予“阿爾茨海默氏症疫苗”
• “凝血酶負葡萄球菌”懸掛

19/01/2024的初步結果（Babel同義詞尚未滿載，丟失毒品的文件：基因，蛋白質，生物，途徑，UMLS）：大多數問題似乎與“大鼠”和“ ACP-044劑量A”分開解決（沒有時間，但沒有有趣的結果）

運行項目

開始服務：

docker compose up -d

進入workspace容器以運行加載腳本。

下載Babel同義詞並將它們加載到VectordB中：

make load

（實驗）PGVECTOR中的PubDictionalies：

python src/pubdict_load.py

當前限制

1. 當前的自託管矢量數據庫不支持單個點的多個向量。這迫使我們為不同的同義詞創建不同的要點，並且需要在查找時重複數據刪除。這阻止了我們正確使用VectordB的limit功能（如果VectordB的第2個結果是從同一點起的，那麼我們將僅返回1個結果，這將與用戶要求的2個限制匹配）

可能的解決方案是使用Postgres和PGVector，其中有2個表（一個用於嵌入，一個用於概念信息），但這將使系統比JSON商店更複雜。

是否有任何自我託管vectordb可以為一個點支持多個未命名的向量？ （QDRANT當前僅支持多個命名向量，這些向量不適合我們的用例）

2. 對於真正的大型數據集，例如Babel同義詞數據集嵌入可能非常密集。我們花了約18週的CPU時間索引1400萬標籤。
3. 要匹配原始的名稱功能，需要進行更多的工作以改善結果的順序（前夫拉列匹配應該比同義詞的匹配，前綴/Biolink類型的偏好等等更重要

文件

簡介演示文稿：https：//docs.google.com/presentation/d/1_ntmf-lthvybbvfusdxsdxsdbeb0wm_yr_yr_yr_yr_yr_yr_bvnnt-ivlktc/edit

PubDictionaries實驗：https：//docs.google.com/document/d/1nipvy2zhzedmf5bjcuzcbgzifn22v9kpzfo4etxl89m/edit

結論介紹：https：//docs.google.com/presentation/d/1sjeuo4oegnmamtrvcawb0tzjzr9sgnyh-efwtjf9999lg/edit

Preprint Biohackrxiv論文：http：//preview.biohackrxiv.org/papers/bdda0f94-f526-4f35-4f35-8768-8768-8768-8faf62d731fa e

演示API：https：//concept-resolver.137.120.31.102.nip.io