หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

LinkML-store

แพลตฟอร์มการจัดการข้อมูลและการรวม AI-พร้อมใช้งาน LinkML-Store ให้เลเยอร์ที่เป็นนามธรรมเหนือแบ็กเอนด์ที่แตกต่างกันหลายรายการ (รวมถึง DuckDB, MongoDB, Neo4J และระบบไฟล์ท้องถิ่น) ช่วยให้สามารถค้นหาการค้นหาดัชนีและการจัดเก็บข้อมูลทั่วไป

สำหรับเอกสารฉบับเต็มให้ดู https://linkml.io/linkml-store/

ดูสไลด์เหล่านี้สำหรับภาพรวมระดับสูง

คำเตือน LinkML-Store ยังคงอยู่ระหว่างการเปลี่ยนแปลงและตัวเลือกการปรับเปลี่ยน APIs และบรรทัดคำสั่งอาจมีการเปลี่ยนแปลง!

เริ่มต้นอย่างรวดเร็ว

ติดตั้งเพิ่มข้อมูลสอบถาม: 

 pip install linkml-store[all]
linkml-store -d duckdb:///db/my.db -c persons insert data/*.json
linkml-store -d duckdb:///db/my.db -c persons query -w "occupation: Bricklayer"

ดัชนีมันค้นหา: 

 linkml-store -d duckdb:///db/my.db -c persons index -t llm
linkml-store -d duckdb:///db/my.db -c persons search "all persons employed in construction"

ตรวจสอบแล้ว: 

 linkml-store -d duckdb:///db/my.db -c persons validate

การใช้งานขั้นพื้นฐาน

  • บรรทัดคำสั่ง
  • งูหลาม
  • API
  • แอปพลิเคชัน

รูปแบบ crudsi

API ฐานข้อมูลส่วนใหญ่ใช้รูปแบบ CRUD : สร้าง, อ่าน, อัปเดต, ลบ, ลบ LinkML-Store เพิ่ม การค้นหา และ การอนุมาน ในรูปแบบนี้ทำให้มัน เป็น crudsi

แนวคิดของ "การค้นหา" และ "การอนุมาน" มีวัตถุประสงค์เพื่อยืดหยุ่นและขยายได้รวมถึง:

  • ค้นหา
    • การค้นหาคำหลักแบบดั้งเดิม
    • ค้นหาโดยใช้ LLM Vector Embeddings ( ไม่มี ฐานข้อมูลเวกเตอร์เฉพาะ)
    • การค้นหาแบบพิเศษที่สามารถทำได้เช่นลำดับจีโนม (ยังไม่ได้ใช้งาน)
  • การอนุมาน (ครอบคลุม การตรวจสอบ การซ่อมแซม และการอนุมานของข้อมูลที่ขาดหายไป)
    • การอนุมานตามกฎแบบคลาสสิก
    • การอนุมานโดยใช้ LLM Retrieval Augmented Generation (RAG)
    • การอนุมานทางสถิติ/มล.

คุณสมบัติ

อะแดปเตอร์หลายตัว

LinkML-store ได้รับการออกแบบให้ทำงานกับแบ็คเอนด์หลายรายการให้เลเยอร์นามธรรมทั่วไป

  • MongoDB

  • Duckdb

  • Solr

  • neo4j

  • ระบบไฟล์

เร็ว ๆ นี้: RDBMS ใด ๆ , Triplestore, Neo4J, ร้านค้าที่ใช้ HDF5, Chromadb/Vector DBS ...

ความตั้งใจคือการรวมคุณสมบัติทั้งหมดของแต่ละแบ็กเอนด์ ตัวอย่างเช่นมีการสืบค้นด้านการวิเคราะห์สำหรับแบ็กเอนด์ ทั้งหมด ไม่ใช่แค่ SOLR

ดัชนีของคอมโพสิต

แบ็กเอนด์จำนวนมากมาพร้อมกับการจัดทำดัชนีและแผนการค้นหาของตัวเอง คลาสสิกนี่คือดัชนีที่ใช้ลูอีนตอนนี้เป็นการค้นหาความหมายโดยใช้ LLM Embeddings

LinkML Store ถือว่าการจัดทำดัชนีเป็นข้อกังวลแบบมุมฉาก - คุณสามารถเขียนรูปแบบการจัดทำดัชนีที่แตกต่างกันด้วยแบ็กเอนด์ที่แตกต่างกัน คุณไม่จำเป็นต้องมีฐานข้อมูลเวกเตอร์เพื่อเรียกใช้การค้นหาแบบฝัง!

ดูวิธีการใช้การค้นหาความหมาย

ใช้กับ LLMS

TODO - เอกสาร

การตรวจสอบความถูกต้อง

LinkML-Store ได้รับการสนับสนุนโดย LinkML ซึ่งช่วยให้มีข้อ จำกัด โครงสร้างและความหมายที่แสดงออกได้อย่างมีประสิทธิภาพ

ดูการจัดทำดัชนี JSON

และความสมบูรณ์ของการอ้างอิง

เว็บ API

มี API เบื้องต้นตามหลักการเกลียดชังที่ใช้โดยใช้ fastapi

ในการเริ่มต้นคุณควรสร้างไฟล์กำหนดค่าก่อนเช่น db/conf.yaml :

จากนั้นเรียกใช้: 

 export LINKML_STORE_CONFIG=./db/conf.yaml
make api

API ส่งคืนลิงก์เช่นเดียวกับวัตถุข้อมูลขอแนะนำให้ใช้ปลั๊กอิน Chrome สำหรับการดู JSON สำหรับการสำรวจ API TODO: เพิ่มเอกสารที่นี่

จุดสิ้นสุดหลักคือ:

  • http://localhost:8000/ - รูทของ API
  • http://localhost:8000/pages/ - เรียกดู API ผ่าน html
  • http://localhost:8000/docs - The Swagger UI

แอพ streamlit 

 make app

พื้นหลัง

ดูสไลด์เหล่านี้สำหรับรายละเอียดเพิ่มเติม

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด