concept resolver

خدمة دقة الأسماء للمفاهيم الطبية الحيوية ، باستخدام قواعد بيانات المتجهات والبحث عن التشابه

بيان المشكلة

يعد حل الملصقات المفاهيم على معرفات موحدة من قواعد البيانات الحالية مطلبًا أساسيًا في عملية التعليق على البيانات الطبية الحيوية. في حين أن العديد من خدمات التعليقات التوضيحية ، بما في ذلك Bioportal وخدمة دقة اسم المترجم ، تتوفر ، فإن معظمها يعتمد على آليات المطابقة المباشرة (على التوالي MGREP و SOLR). لسوء الحظ ، غالباً ما تنقص هذه الآليات عند التعامل مع ملصقات المفاهيم التي تظهر اختلافات كبيرة من معرفات موحدة أو عند التعامل مع المرادفات.

يقترب

نقترح استكشاف استخدام البحث في التشابه المتجه لتحسين دقة حل المفاهيم. سنقوم بالاستفادة من مجموعة البيانات الشاملة التي تم جمعها من قبل مشروع المترجم بابل ، والذي يتضمن مستودعًا واسعًا من المعرفات ، والملصقات ، والمرادفات من المجال الطبي الحيوي (PubChem ، و Chembl ، و Uniprot ، و Mondo ، و Omim ، و HGNC ، و Drugbank ، وأكثر).

أهداف

خلال Hackathon التعليق التوضيحي الطبية الحيوية ، تكون أهدافنا الرئيسية كما يلي:

1. اختيار قاعدة بيانات المتجهات ونموذج تضمينات النص : سنقوم بتقييم قاعدة بيانات متجه مفتوح المصدر المتاحة ونماذج تضمينات النص لاختيار واحد يناسب احتياجاتنا. قد نختار أيضًا عدة ، ومقارنة نتائجها.
2. ابتلاع البيانات: سنقوم بإنشاء سير عمل لإنشاء التضمينات وتلغي البيانات من مشروع Babel Translator إلى قاعدة بيانات متجه. ستكون قاعدة البيانات هذه بمثابة الأساس لخدمة حل اسمك.
3. البحث عن تشابه المتجه: سنقوم بتنفيذ خدمة تمكن المستخدمين من استرداد المعرفات المحتملة لتسمية مفهوم معينة ، إلى جانب الدرجات التي تشير إلى درجة الثقة. ستستخدم هذه الخدمة تنفيذ بحث تشابه قاعدة بيانات المتجه
4. التقييم : سنبحث في مجموعات البيانات الحالية لقياس كفاءة نهجنا ، ومقارنتها بالخدمات الحالية
5. استكشاف حالات الاستخدام: بالإضافة إلى حل المفاهيم ، سنستكشف مجموعة من حالات الاستخدام المحتملة التي يمكن أن تستفيد من قاعدة بيانات المتجه. قد تشمل هذه الاكتشاف المرادف ورسم خرائط المفاهيم وتوصية المفهوم.

سيتم عرض خدمة دقة الأسماء باعتبارها واجهة برمجة تطبيقات موصوفة OpenAPI التي تأخذ علامة مفهوم كمدخلات ، وإرجاع قائمة من الكيانات المطابقة ، ممثلة بقاموس مع النتيجة والتعريف الخاص بهم ، التسمية ، المرادفات.

قواعد بيانات المتجهات

اسم	الخلق	نجوم جيثب	مكتوب في	SDK ل	لغة الاستعلام/API*	تنفيذ وظائف المتجهات	تعليق
Qdrant	يوليو 2020	~ 14k	الصدأ	Python ، JS ، Rust ، Go ، .NET	Openapi ، GRPC	جيب التمام ، إقليدس ، نقطة	يمكن استخدامها كأداة مستقلة محلية ، في الذاكرة أو الثابتة على القرص ، دون نشر خدمة ويب
ميلفوس	أكتوبر 2019	~ 24k	يذهب	Python ، JS ، Java ، اذهب	Openapi ❓	جيب التمام ، الإقليدس ، المنتج الداخلي	الملقب. Zilliz Cloud
Chroma	أكتوبر 2022	~ 9k	بيثون	بيثون ، ج	Openapi ❓
Weaviate	مارس 2016	~ 8k	يذهب	Python ، JS ، Java ، اذهب	GraphQL API	جيب التمام ، إقليدس
PGVector	أبريل 2021	~ 6.5k	ج	من خلال Postgres SDK ❓	SQL	جيب التمام ، الإقليدس ، المنتج الداخلي ، سيارات الأجرة	مدمجة في postgresql

*لغة الاستعلام/API تحدد نوع لغة الاستعلام أو API يمكن استخدامها للاستعلام عن المعلومات داخل قاعدة بيانات المتجه

كل هذه المنتجات مفتوحة المصدر ، وكلها تقترح واجهة مستخدم ويب بسيطة لاستكشاف قاعدة بيانات المتجه.

معظمهم لديهم واجهة برمجة تطبيقات حديثة وبسيطة (بصرف النظر عن PGVector التي تعيش داخل PostgreSQL)

نماذج تضمين النص

المرجع المعيار لنماذج التضمينات النصية: https://huggingface.co/blog/mteb

المتصدرين: https://huggingface.co/spaces/mteb/leaderboard

نماذج التضمين الشعبية:

• flagembedding bge-large-en-v1.5
• Openai text-embedding-ada-002
• sentence-transformers/all-MiniLM-L6-v2
• Jina AI jina-embeddings-v2-base-en
• Cohere embed-english-v3.0

مجموعة البيانات القياسية

ليتم تعريفها.

المعايير الحالية لقواعد بيانات المتجهات:

• مقاييس أقرب جيران: https://github.com/erikbern/ann-benchmarks/
• مقالة حول معايير قواعد بيانات المتجهات: https://marketing.fmops.ai/blog/vector-benchmarking/
• VectordBbench من Milvus/Zilliz: https://github.com/zilliztech/vectordbbench
• المعيار من QDrant: https://qdrant.tech/benchmarks/

معيار البيانات الطبية الحيوية

• NCBI Disease Corpus: https://www.ncbi.nlm.nih.gov/cbbresearch/dogan/disease/
• Bacteria Biotope 4: https://sites.google.com/view/bb-2019/dataset
• Biowic: معيار تقييم لتمثيل المفهوم الطبيب الحيوي
  • https://github.com/hrouhizadeh/biowic
  • https://huggingface.co/Datasets/hrouhizadeh/biowic

تعيين مشكلات في خدمة قرار الأسماء

• Translatorsri/Nameresolution#81
  • "التهاب اللفافة الإقفاري"
  • "مرض نقص التروية"
• "الفئران"/"الفئران" لا تُرجع راتوس نورويجكوس عالية بما فيه الكفاية (المترجمات/nameresolution#127)
• يجب ألا يتطابق "Angiotensin II"
• "ACP-044 جرعة" مهلة "Translatorsri/Nameresolution#95)
• "Long Covid-19" يجب ألا يتطابق مع "Long" في First (Translatorsri/Nameresolution#72)
• "الاكتئاب" يجب أن يتطابق مع "اضطراب الاكتئاب" أعلى في القائمة
• "نوع مرض السكري ..." معلق
• "مرض الزهايمر" يعطي "لقاحات الزهايمر" قبل "مرض الزهايمر"
• "تخثر المكورات العنقودية السلبية" معلقة

النتائج الأولية في 19/01/2024 (مرادفات بابل لم يتم تحميلها بالكامل بعد ، مفقودة الملفات بعد الدواء: الجينات ، البروتين ، الكائنات الحية ، المسار ، UMLS): يبدو أن معظم القضايا يتم حلها بصرف النظر عن "الجرذان" و "ACP-044 جرعة" (لا توقت ولكن لا توجد نتائج مثيرة للاهتمام)

تشغيل المشروع

بدء الخدمات:

docker compose up -d

ادخل إلى حاوية workspace لتشغيل نصوص التحميل.

قم بتنزيل مرادفات بابل وتحميلها في Vectordb:

make load

(تجريبي) تحميل الحموض في PGVector:

python src/pubdict_load.py

القيود الحالية

1. لا تدعم قاعدة بيانات المتجهات الحالية المستضافة ذاتيا ناقلات متعددة لنقطة واحدة. الأمر الذي يجبرنا على إنشاء نقاط مختلفة للمرادفات المختلفة ، ويتطلب إلغاءًا للنتائج عند البحث. التي تمنعنا من استخدام ميزة limit بشكل صحيح من VectordB (إذا كانت النتائج الأولى من Vectordb هي من نفس النقطة ، فسنقوم بإرجاع نتائج واحدة فقط ، والتي لن تتطابق مع حد 2 من المستخدم)

سيكون الحل المحتمل هو استخدام Postgres و PGVector ، مع جدولين (أحدهما للتضمينات ، أحدهما لمفهوم INFOS) ، لكن ذلك سيجعل النظام أكثر تعقيدًا من متجر JSON.

هل هناك أي vectordb المستضيف ذاتيا يمكن أن يدعم عدة متجهات لم يكشف عن اسمها لنقطة واحدة؟ (QDrant حاليًا يدعم فقط العديد من المتجهات المسماة التي لا تناسب حالة الاستخدام الخاصة بنا)

2. بالنسبة لمجموعات البيانات الكبيرة حقًا ، يمكن أن يكون تضمين مجموعة بيانات بابل مرادف مكثفة تمامًا وحدة المعالجة المركزية. استغرقنا حوالي 18 أسبوعًا من وقت وحدة المعالجة المركزية لفهرسة 14 ملايين الملصقات.
3. لمطابقة وظائف nameresolution الأصلية ، يجب القيام بمزيد من العمل لتحسين ترتيب النتائج (يجب أن تكون مباريات preflabel أكثر أهمية من المباريات على المرادفات ، والتفضيل بأنواع البارزة/biolink ، إلخ)

وثائق

مقدمة عرض تقديمي: https://docs.google.com/presentation/d/1_ntmf-lthvybvffusdxdbeb0wm_yr_bvnnt-ivlktc/edit

PubDictionaries التجربة:

الخلاصة العرض التقديمي: https://docs.google.com/presentation/d/1sjeuo4oegnmamtrvcawb0tzjzr9sgnyh-efwtjf99lg/edit

preprint biohackrxiv ورقة: http://preview.biohackrxiv.org/papers/bdda0f94-f526-4f35-8768-8faf62d731fa/paper.pdf

API التجريبي: https://concept-resolver.137.120.31.102.nip.io