linkml store

linkml-store

Platform manajemen data dan integrasi siap-AI. LinkML-Store menyediakan lapisan abstraksi di atas beberapa backend yang berbeda (termasuk DuckDB, MongoDB, NEO4J, dan sistem file lokal), memungkinkan untuk kueri, indeks, dan operasi penyimpanan umum.

Untuk dokumentasi lengkap, lihat https://linkml.io/linkml-store/

Lihat slide ini untuk tinjauan tingkat tinggi.

Peringatan LinkML-Store masih mengalami perubahan dan refactoring, API dan opsi baris perintah dapat berubah!

Awal yang cepat

Instal, tambahkan data, query It:

 pip install linkml-store[all]
linkml-store -d duckdb:///db/my.db -c persons insert data/*.json
linkml-store -d duckdb:///db/my.db -c persons query -w "occupation: Bricklayer"

Indeks, cari:

 linkml-store -d duckdb:///db/my.db -c persons index -t llm
linkml-store -d duckdb:///db/my.db -c persons search "all persons employed in construction"

Validasi:

 linkml-store -d duckdb:///db/my.db -c persons validate

Penggunaan dasar

• Baris perintah
• Python
• API
• Aplikasi Streamlit

Pola crudsi

Sebagian besar API basis data menerapkan pola CRUD : buat, baca, perbarui, hapus. LinkML-Store menambahkan pencarian dan inferensi ke pola ini, membuatnya crudsi .

Gagasan "pencarian" dan "inferensi" dimaksudkan untuk fleksibel dan dapat diperluas, termasuk:

• Mencari
  • Pencarian Kata Kunci Tradisional
  • Cari menggunakan embeddings vektor llm ( tanpa database vektor khusus)
  • Pencarian khusus pluggable, misalnya urutan genomik (belum diimplementasikan)
• Inferensi (meliputi validasi , perbaikan , dan inferensi data yang hilang)
  • Inferensi berbasis aturan klasik
  • Inferensi Menggunakan LLM Retrieval Augmented Generation (RAG)
  • Inferensi statistik/ml

Fitur

Banyak adaptor

LinkML-Store dirancang untuk bekerja dengan beberapa backend, memberikan lapisan abstraksi yang umum

• Mongodb

• Duckdb

• Solr

• Neo4j

• Sistem file

Segera Hadir: Setiap RDBM, Toko Triplestore, Neo4J, HDF5, Chromadb/Vector DBS ...

Maksudnya adalah untuk memberikan penyatuan semua fitur dari setiap backend. Misalnya, pertanyaan analitik faceted disediakan untuk semua backend, bukan hanya Solr.

Indeks yang dapat dikomposisi

Banyak backend datang dengan skema pengindeksan dan pencarian mereka sendiri. Secara klasik ini adalah indeks berbasis Lucene, sekarang ini adalah pencarian semantik menggunakan embeddings LLM.

LinkML Store memperlakukan pengindeksan sebagai masalah ortogonal - Anda dapat menyusun skema pengindeksan yang berbeda dengan backend yang berbeda. Anda tidak perlu memiliki database vektor untuk menjalankan pencarian embedding!

Lihat Cara menggunakan-Saran

Gunakan dengan LLMS

TODO - DOCS

Validasi

LinkML-Store didukung oleh LinkML, yang memungkinkan kendala struktural dan semantik ekspresif yang kuat.

Lihat Pengindeksan JSON

dan integritas referensial

API Web

Ada API pendahuluan mengikuti prinsip -prinsip kebencian yang diterapkan menggunakan FastAPI.

Untuk memulai Anda harus terlebih dahulu membuat file konfigurasi, misalnya db/conf.yaml :

Kemudian jalankan:

 export LINKML_STORE_CONFIG=./db/conf.yaml
make api

API mengembalikan tautan serta objek data, disarankan untuk menggunakan plugin chrome untuk melihat JSON untuk menjelajahi API. TODO: Tambahkan dokumen di sini.

Titik akhir utamanya adalah:

• http://localhost:8000/ - akar API
• http://localhost:8000/pages/ - Jelajahi API melalui html
• http://localhost:8000/docs - The Swagger UI

Aplikasi StreamLit

 make app

Latar belakang

Lihat Slide ini untuk detail lebih lanjut