concept resolver

Layanan Resolusi Nama untuk Konsep Biomedis, menggunakan database vektor dan pencarian kesamaan

Pernyataan masalah

Menyelesaikan label konsep untuk pengidentifikasi standar dari database yang ada adalah persyaratan mendasar dalam proses anotasi data biomedis. Sementara beberapa layanan anotasi, termasuk Bioportal dan Layanan Resolusi Nama Penerjemah, tersedia, kebanyakan dari mereka mengandalkan mekanisme pencocokan langsung (masing -masing MGREP dan SOLR). Sayangnya, mekanisme ini sering gagal ketika berhadapan dengan label konsep yang menunjukkan variasi substansial dari pengidentifikasi standar atau ketika berhadapan dengan sinonim.

Mendekati

Kami mengusulkan untuk mengeksplorasi penggunaan pencarian kesamaan vektor untuk meningkatkan keakuratan resolusi konsep. Kami akan memanfaatkan dataset ekstensif yang dikumpulkan oleh Proyek Penerjemah Babel, yang mencakup gudang pengidentifikasi, label, dan sinonim yang luas dari domain biomedis (Pubchem, Chembl, Uniprot, Mondo, OMIM, HGNC, Drugbank, dan banyak lagi).

Tujuan

Selama hackathon anotasi terkait biomedis, tujuan utama kami adalah sebagai berikut:

1. Memilih Model Vektor Database dan Teks Embeddings : Kami akan mengevaluasi model vektor open-source yang tersedia dan model embeddings teks untuk memilih satu yang sesuai dengan kebutuhan kami. Kami juga dapat memilih beberapa, dan membandingkan hasilnya.
2. Konsumsi Data: Kami akan membuat alur kerja untuk menghasilkan embeddings dan menelan data dari proyek penerjemah Babel ke dalam basis data vektor. Basis data ini akan berfungsi sebagai dasar untuk layanan resolusi nama kami.
3. Pencarian Kesamaan Vektor: Kami akan menerapkan layanan yang akan memungkinkan pengguna untuk mengambil pengidentifikasi potensial untuk label konsep yang diberikan, bersama dengan skor yang menunjukkan tingkat kepercayaan. Layanan ini akan menggunakan implementasi pencarian kesamaan database vektor
4. Evaluasi : Kami akan melihat ke dalam dataset yang ada untuk membandingkan efisiensi pendekatan kami, dan membandingkannya dengan layanan yang ada
5. Menjelajahi kasus penggunaan: Selain resolusi konsep, kami akan mengeksplorasi berbagai kasus penggunaan potensial yang dapat mengambil manfaat dari database vektor. Ini mungkin termasuk penemuan sinonim, pemetaan konsep, dan rekomendasi konsep.

Layanan Resolusi Nama akan diekspos sebagai API yang dijelaskan OpenAPI yang mengambil label konsep sebagai input, dan mengembalikan daftar entitas yang cocok, diwakili oleh kamus dengan skor dan curie, label, sinonim.

Database vektor

Nama	Penciptaan	Bintang GitHub	Tertulis di	SDK untuk	Bahasa Permintaan/API*	Menerapkan fungsi vektor	Komentar
Qdrant	Juli 2020	~ 14K	Karat	Python, JS, Rust, Go, .net	Openapi, Grpc	Cosinus, Euclid, Dot	Dapat digunakan sebagai alat mandiri lokal, dalam memori atau persisten pada disk, tanpa untuk menggunakan layanan web
Milvus	Oktober 2019	~ 24K	Pergi	Python, JS, java, pergi	Openapi ❓️	Cosinus, Euclid, Produk Dalam	alias. Zilliz Cloud
Chroma	Oktober 2022	~ 9k	Python	Python, JS	Openapi ❓️
Weaviate	Maret 2016	~ 8k	Pergi	Python, JS, java, pergi	GraphQL API	Cosinus, Euclid
pgvektor	April 2021	~ 6.5k	C	Melalui Postgres SDK ❓️	SQL	Cosinus, Euclid, Produk Dalam, Taksi	Terintegrasi di PostgreSQL

*Bahasa kueri/API Menentukan jenis bahasa atau API kueri mana yang dapat digunakan untuk menanyakan informasi di dalam database vektor

Semua produk itu open source, dan semuanya mengusulkan UI web sederhana untuk menjelajahi database vektor.

Sebagian besar dari mereka memiliki API modern dan sederhana (selain dari pgvektor yang hidup di dalam postgresql)

Model embedding teks

Benchmark referensi untuk model embeddings teks: https://huggingface.co/blog/mteb

Papan peringkat: https://huggingface.co/spaces/mteb/leaderboard

Model Embedding Populer:

• Flagembedding bge-large-en-v1.5
• Openai text-embedding-ada-002
• Huggingface sentence-transformers/all-MiniLM-L6-v2
• Jina jina-embeddings-v2-base-en
• Cohere embed-english-v3.0

Dataset Benchmark

Untuk didefinisikan.

Tolok ukur yang ada untuk database vektor:

• Benchmarking tetangga terdekat: https://github.com/erikbern/ann-benchmarks/
• Artikel tentang tolok ukur untuk database vektor: https://marketing.fmops.ai/blog/vector-benchmarking/
• Vectorbbench dari Milvus/Zilliz: https://github.com/zilliztech/vectordbbench
• Benchmark dari Qdrant: https://qdrant.tech/benchmarks/

Benchmark Data Biomedis

• NCBI Penyakit Corpus: https://www.ncbi.nlm.nih.gov/cbbresearch/dogan/disease/
• Bakteri Biotope 4: https://sites.google.com/view/bb-2019/dataset
• Biowic: Benchmark Evaluasi untuk Representasi Konsep Biomedis
  • https://github.com/hrouhizadeh/biowic
  • https://huggingface.co/datasets/hrouhizadeh/biowic

Pemetaan Masalah dalam Layanan Resolusi Nama

• Translatorsri/Nameresolution#81
  • "Iskemik fasciitis"
  • "Penyakit Iskemik"
• "Tikus"/"tikus" tidak mengembalikan Rattus Norwegicus cukup tinggi (Translatorsri/Nameresolution#127)
• "Angiotensin II" seharusnya tidak cocok dengan "angiotensin" di First (Translatorsri/Nameresolution#90)
• "ACP-044 Dosis A" Timeout (Translatorsri/Nameresolution#95)
• "Long Covid-19" seharusnya tidak cocok dengan "Long" di First (Translatorsri/Nameresolution#72)
• "Depresi" harus cocok dengan "gangguan depresi" lebih tinggi dalam daftar
• "Diabetes Type ..." Hangs
• "Alzheimer" memberikan "Vaksin Alzheimer" sebelum "Penyakit Alzheimer"
• "Coagulase negatif staphylococcus" hangs

Hasil awal pada 19/01/2024 (Sinonim Babel belum sepenuhnya dimuat, file yang hilang demi obat: gen, protein, organisme, jalur, UML): Sebagian besar masalah tampaknya diselesaikan selain dari "tikus" dan "ACP-044 Dosis A" (tidak ada waktu tetapi tidak ada hasil yang menarik))

Jalankan proyek

Layanan Mulai:

docker compose up -d

Masuk ke wadah workspace untuk menjalankan skrip pemuatan.

Unduh Sinonim Babel dan muat di VectorB:

make load

(Eksperimental) memuat pubdiksi di pgvektor:

python src/pubdict_load.py

Keterbatasan saat ini

1. Database vektor self-hosting saat ini tidak mendukung banyak vektor untuk satu poin. Yang memaksa kita untuk membuat poin yang berbeda untuk sinonim yang berbeda, dan membutuhkan deduplikasi hasil saat mencari. Yang mencegah kami untuk menggunakan fitur limit dengan benar dari vectorb (jika 2 hasil pertama dari vectordB berasal dari titik yang sama, maka kami hanya akan mengembalikan 1 hasil, yang tidak akan cocok dengan batas 2 yang diminta oleh pengguna)

Solusi yang mungkin adalah menggunakan postgres dan pgvektor, dengan 2 tabel (satu untuk embeddings, satu untuk info konsep) tetapi itu akan membuat sistem jauh lebih kompleks daripada toko JSON.

Apakah ada vectorbb yang diselenggarakan sendiri yang dapat mendukung beberapa vektor yang tidak disebutkan namanya untuk satu poin? (Qdrant saat ini hanya mendukung beberapa vektor bernama yang tidak sesuai dengan kasus penggunaan kami)

2. Untuk set data yang sangat besar seperti penyembatan dataset sinonim Babel bisa sangat intensif CPU. Kami membutuhkan waktu ~ 18 minggu waktu CPU untuk mengindeks 14 juta label.
3. Untuk mencocokkan fungsi NamereSolution asli, lebih banyak pekerjaan yang perlu dilakukan untuk meningkatkan urutan hasil (pencocokan preflabel harus lebih penting daripada kecocokan pada sinonim, preferensi berdasarkan jenis awalan/biolink, dll)

Dokumen

Presentasi Pendahuluan: https://docs.google.com/presentation/d/1_ntmf-lthvybbvfusdxsdbeb0wm_yr_bvnnt-ivlktc/edit

Eksperimen pubdiksi: https://docs.google.com/document/d/1nipvy2zhzedmf5bjcuzcbgzifn22v9kpzfo4etxl89m/edit

Presentasi Kesimpulan: https://docs.google.com/presentation/d/1sjeuo4oegnmamtrvcawb0tzjzr9sgnyh-efwtjf99lg/edit

Paper Preprint Biohackrxiv: http://preview.biohackrxiv.org/papers/bdda0f94-f526-4f35-8768-8faf62d731fa/paper.pdf

Demo API: https://concept-resolver.137.120.31.102.nip.io