linkml store

linkml-store

Una plataforma de gestión de datos e integración de datos listos para AI. LinkML-Store proporciona una capa de abstracción sobre múltiples backends diferentes (incluidos DuckDB, MongoDB, Neo4J y los sistemas de archivos locales), lo que permite operaciones comunes de consultas, índice y almacenamiento.

Para la documentación completa, consulte https://linkml.io/linkml-store/

Vea estas diapositivas para una descripción general de alto nivel.

¡La tienda de enlace de advertencia todavía está experimentando cambios y las opciones de refactorización, API y línea de comandos están sujetas a cambios!

Comienzo rápido

Instale, agregue datos, consulte:

 pip install linkml-store[all]
linkml-store -d duckdb:///db/my.db -c persons insert data/*.json
linkml-store -d duckdb:///db/my.db -c persons query -w "occupation: Bricklayer"

Indexarlo, buscarlo:

 linkml-store -d duckdb:///db/my.db -c persons index -t llm
linkml-store -d duckdb:///db/my.db -c persons search "all persons employed in construction"

Validarlo:

 linkml-store -d duckdb:///db/my.db -c persons validate

Uso básico

• Línea de comando
• Pitón
• API
• Aplicaciones de racionalización

El patrón crudsi

La mayoría de las API de bases de datos implementan el patrón CRUD : Crear, leer, actualizar, eliminar. LinkML-Store agrega búsqueda e inferencia a este patrón, lo que lo convierte en Crudsi .

La noción de "búsqueda" e "inferencia" está destinada a ser flexible y extensible, incluyendo:

• Buscar
  • Búsqueda de palabras clave tradicionales
  • Búsqueda utilizando LLM Vector Incrushings ( sin una base de datos vectorial dedicada)
  • Búsqueda especializada conectable, por ejemplo, secuencia genómica (aún no implementada)
• Inferencia ( validación , reparación e inferencia de datos faltantes)
  • Inferencia clásica basada en reglas
  • Inferencia usando la generación aumentada de recuperación de LLM (trapo)
  • Inferencia estadística/ml

Características

Múltiples adaptadores

LinkML-Store está diseñado para funcionar con backends múltiples, dando una capa de abstracción común

• Mongodb

• Duckdb

• Solria

• Neo4J

• Sistema de archivos

Próximamente: cualquier RDBMS, cualquier tienda basada en Triplestore, Neo4J, HDF5, DBS ChromAdB/Vector ...

La intención es dar una unión de todas las características de cada backend. Por ejemplo, se proporcionan consultas facetadas analíticas para todos los backends, no solo Solr.

Índices compuestos

Muchos backends vienen con sus propios esquemas de indexación y búsqueda. Clásicamente, estos fueron índices basados ​​en Lucene, ahora es una búsqueda semántica utilizando incrustaciones de LLM.

La tienda LinkML trata la indexación como una preocupación ortogonal: puede componer diferentes esquemas de indexación con diferentes backends. ¡No necesita tener una base de datos vectorial para ejecutar la búsqueda de incrustación!

Vea cómo usar la búsqueda semántica

Usar con LLMS

TODO - DOCS

Validación

LinkML-Store está respaldado por LinkML, que permite potentes restricciones expresivas estructurales y semánticas.

Ver indexación json

e integridad referencial

API web

Hay una API preliminar que sigue los principios de Odoas implementados utilizando Fastapi.

Para comenzar, primero debe crear un archivo de configuración, por ejemplo, db/conf.yaml :

Luego corre:

 export LINKML_STORE_CONFIG=./db/conf.yaml
make api

La API devuelve enlaces y objetos de datos, se recomienda usar un complemento Chrome para la visualización de JSON para explorar la API. TODO: Agregue documentos aquí.

Los puntos finales principales son:

• http://localhost:8000/ - la raíz de la API
• http://localhost:8000/pages/ - Explore la API a través de HTML
• http://localhost:8000/docs - la ui de Swagger

Aplicación de racionalización

 make app

Fondo

Vea estas diapositivas para más detalles