linkml store

linkml-store

AI-Ready 데이터 관리 및 통합 플랫폼. LinkMl-Store는 여러 다른 백엔드 (DuckDB, MongoDB, Neo4J 및 로컬 파일 시스템 포함)에 대한 추상화 계층을 제공하여 공통 쿼리, 인덱스 및 저장 작업을 허용합니다.

전체 문서는 https://linkml.io/linkml-store/를 참조하십시오.

높은 수준의 개요는이 슬라이드를 참조하십시오.

경고 linkml-store는 여전히 변경 사항을 진행하고 있으며 리팩토링, API 및 명령 줄 옵션은 변경 될 수 있습니다!

빠른 시작

설치, 데이터 추가, 쿼리 :

 pip install linkml-store[all]
linkml-store -d duckdb:///db/my.db -c persons insert data/*.json
linkml-store -d duckdb:///db/my.db -c persons query -w "occupation: Bricklayer"

색인, 검색 :

 linkml-store -d duckdb:///db/my.db -c persons index -t llm
linkml-store -d duckdb:///db/my.db -c persons search "all persons employed in construction"

그것을 확인하십시오 :

 linkml-store -d duckdb:///db/my.db -c persons validate

기본 사용

• 명령 줄
• 파이썬
• API
• 간소화 응용 프로그램

crudsi 패턴

대부분의 데이터베이스 API는 CRUD 패턴을 구현합니다. 생성, 읽기, 업데이트, 삭제. LinkMl-Store는이 패턴에 검색 및 추론을 추가하여 Crudsi 로 만듭니다.

"검색"및 "추론"이라는 개념은 다음을 포함하여 유연하고 확장 가능합니다.

• 찾다
  • 전통적인 키워드 검색
  • LLM 벡터 임베딩을 사용하여 검색 (전용 벡터 데이터베이스 없이 )
  • 플러그 전문 검색, 예 : 게놈 서열 (아직 구현되지 않음)
• 추론 (유효성 검사 , 수리 및 누락 된 데이터의 추론)
  • 고전적인 규칙 기반 추론
  • LLM 검색 증강 생성 (RAG)을 사용한 추론
  • 통계/ml 추론

특징

다중 어댑터

LinkMl-Store

• Mongodb

• DuckDB

• 솔라

• neo4j

• 파일 시스템

출시 예정 : 모든 RDBMS, Triplestore, NEO4J, HDF5 기반 상점, ChromADB/Vector DBS ...

의도는 각 백엔드의 모든 기능을 결합시키는 것입니다. 예를 들어, Solr뿐만 아니라 모든 백엔드에 대해 분석 패싯 쿼리가 제공됩니다.

종합 가능한 색인

많은 백엔드에는 자체 인덱싱 및 검색 체계가 제공됩니다. 고전적으로 이것은 루센 기반 인덱스였으며 이제는 LLM 임베딩을 사용한 의미 검색입니다.

LinkMl Store는 인덱싱을 직교 문제로 취급합니다. 다른 백엔드를 가진 다른 인덱싱 체계를 구성 할 수 있습니다. 임베딩 검색을 실행하려면 벡터 데이터베이스가 필요하지 않습니다!

미용사를 사용하는 방법을보십시오

LLMS와 함께 사용하십시오

TODO -DOCS

확인

LinkMl-Store는 LinkML에 의해 뒷받침되며, 이로 인해 강력한 표현 구조 및 의미 론적 제약이 가능합니다.

JSON 인덱스를 참조하십시오

그리고 참조 무결성

웹 API

Fastapi를 사용하여 구현 된 증오 원칙에 따른 예비 API가 있습니다.

시작하려면 먼저 구성 파일 (예 : db/conf.yaml 을 작성해야합니다.

그런 다음 실행 :

 export LINKML_STORE_CONFIG=./db/conf.yaml
make api

API는 데이터 객체뿐만 아니라 링크를 반환하며 API를 탐색하기 위해 JSON보기에 Chrome 플러그인을 사용하는 것이 좋습니다. TODO : 여기에 문서를 추가하십시오.

주요 엔드 포인트는 다음과 같습니다.

• http://localhost:8000/ - API의 루트
• http://localhost:8000/pages/ - html을 통해 API를 찾아보십시오
• http://localhost:8000/docs -The Swagger UI

간소화 앱

 make app

배경

자세한 내용은이 슬라이드를 참조하십시오