linkml store

Linkml Store

Платформа управления и интеграции AI-готовых данных. Linkml Store предоставляет слой абстракции в нескольких различных бэкэндах (включая DuckDB, MongoDB, NEO4J и локальные файловые системы), что позволяет выполнять общие запросы, индекс и операции хранения.

Для полной документации см. Https://linkml.io/linkml-store/

Посмотрите эти слайды для обзора высокого уровня.

Предупреждение Linkml Store все еще претерпевает изменения и рефакторинг, API и параметры командной строки могут быть изменены!

Быстрый старт

Установить, добавить данные, запросить это:

 pip install linkml-store[all]
linkml-store -d duckdb:///db/my.db -c persons insert data/*.json
linkml-store -d duckdb:///db/my.db -c persons query -w "occupation: Bricklayer"

Указать это, ищите это:

 linkml-store -d duckdb:///db/my.db -c persons index -t llm
linkml-store -d duckdb:///db/my.db -c persons search "all persons employed in construction"

Подтвердить это:

 linkml-store -d duckdb:///db/my.db -c persons validate

Основное использование

• Командная строка
• Питон
• API
• Приложения для стрижки

Шаблон Крудси

Большинство API базы данных реализуют шаблон CRUD : создать, читать, обновить, удалить. Linkml Store добавляет поиск и вывод к этому шаблону, делая его Crudsi .

Понятие «поиска» и «вывода» предназначено для того, чтобы быть гибким и расширяемым, включая:

• Поиск
  • Традиционный поиск ключевых слов
  • Поиск с использованием векторов LLM ( без специальной векторной базы данных)
  • Специализированный поиск, например, геномная последовательность (например, еще не реализована)
• Вывод (охватывающий валидацию , ремонт и вывод пропущенных данных)
  • Классический вывод на основе правил
  • Вывод с использованием получения LLM Augmented Generation (RAG)
  • Статистический/мл вывод

Функции

Несколько адаптеров

Linkml Store предназначен для работы с несколькими бэкэнами, давая общий уровень абстракции

• Mongodb

• Утка

• Соль

• Neo4j

• Файловая система

Скоро: любые RDBMS, любой триплстор, NEO4J, HDF5, магазины, ChromADB/Vector DBS ...

Цель состоит в том, чтобы дать союз всех особенностей каждого бэкэнда. Например, аналитические аспектные запросы предоставляются для всех бэкэндов, а не только Solr.

Композиционные индексы

Многие бэкэнды поставляются с их собственными схемами индексации и поиска. Классически это были индексы на основе Lucene, теперь это семантический поиск с использованием LLM Enterdings.

Linkml Store рассматривает индексацию как ортогональную проблему - вы можете составить различные схемы индексации с различными бэкэнами. Вам не нужно иметь векторную базу данных для запуска встроенного поиска!

Посмотрите, как использовать Semantic-Search

Используйте с LLMS

Todo - Docs

Валидация

Linkml Store поддерживается Linkml, который позволяет мощным выразительным структурным и семантическим ограничениям.

Смотрите индексацию JSON

и референциальная целостность

Веб -API

Существует предварительный API после принципов HatoaS, реализованных с использованием FASTAPI.

Для начала вы должны сначала создать файл конфигурации, например, db/conf.yaml :

Затем беги:

 export LINKML_STORE_CONFIG=./db/conf.yaml
make api

API возвращает ссылки, а также объекты данных, рекомендуется использовать плагин Chrome для просмотра JSON для изучения API. Тодо: Добавьте документы здесь.

Основные конечные точки:

• http://localhost:8000/ - корень API
• http://localhost:8000/pages/ - Просмотр API через HTML
• http://localhost:8000/docs - The Swagger UI

Приложение Streamlit

 make app

Фон

Смотрите эти слайды для более подробной информации