superlinked

Superlinked adalah kerangka kerja Python untuk insinyur AI yang membangun aplikasi pencarian & rekomendasi berkinerja tinggi yang menggabungkan data terstruktur dan tidak terstruktur . Periksa dokumentasi untuk memulai.

Daftar isi

• Daftar isi
• Ringkasan
• Fitur
• Kasus penggunaan
• Bereksperimen di buku catatan
  • Instal perpustakaan superlinked
  • Jalankan contoh:
• Dijalankan dalam produksi
  • Database vektor yang didukung
• Logging
• Sumber daya
• Mendukung

Ringkasan

• Mengapa : Meningkatkan relevansi pencarian vektor Anda dengan menyandikan metadata togehter dengan data yang tidak terstruktur ke dalam vektor.
• APA : Kerangka kerja dan server API REST yang dapat diselenggarakan sendiri yang menghubungkan data Anda, database vektor, dan layanan backend.
• Bagaimana : Bangun model embedding data & kueri khusus dari encoder yang sudah terlatih dari sentence-transformers , open-clip dan encoder khusus untuk angka, cap waktu, dan data kategorikal. Lihat fitur dan buku catatan penggunaan di bawah ini untuk contoh.

Jika Anda menyukai apa yang kami lakukan, beri kami bintang!

---

Fitur

• Data terstruktur dan tidak terstruktur (Teks | Gambar | Nomor | Kategori | Waktu | Acara)
• Gabungkan Encoders Untuk Membangun Model Kustom (Notebook)
• Tambahkan Encoder Kustom (Notebook)
• Perbarui Vektor Anda dengan Acara & Hubungan Perilaku (Notebook)
• Gunakan bobot waktu kueri (notebook)
• Permintaan dengan bahasa alami (notebook)
• Filter Hasil Anda (Notebook)
• Vektor Ekspor untuk Analisis (Notebook)
• Teks embed atau gambar ke dalam ruang vektor multi-modal (notebook)

Anda dapat memeriksa daftar lengkap fitur dan konsep kami.

Kasus penggunaan

Selam lebih dalam dengan buku catatan kami tentang bagaimana setiap kasus penggunaan mendapat manfaat dari kerangka kerja yang sangat terkait.

• Rag : SDM Knowledge Base
• Pencarian Semantik : Film, Berita Bisnis, Gambar & Deskripsi Produk
• Sistem Rekomendasi : E-Commerce
• Analisis : Akuisisi Pengguna, Ekspansi Kata Kunci

Anda dapat memeriksa daftar lengkap contoh di sini.

Bereksperimen di buku catatan

Mari kita membangun pencarian produk e-commerce yang memahami deskripsi dan peringkat produk:

Instal perpustakaan superlinked

 %pip install superlinked

Jalankan contoh:

First Run akan membutuhkan waktu satu menit untuk mengunduh model embedding.

 import json
import os

from superlinked import framework as sl


class Product ( sl . Schema ):
    id : sl . IdField
    description : sl . String
    rating : sl . Integer


product = Product ()

description_space = sl . TextSimilaritySpace (
    text = product . description , model = "Alibaba-NLP/gte-large-en-v1.5"
)
rating_space = sl . NumberSpace (
    number = product . rating , min_value = 1 , max_value = 5 , mode = sl . Mode . MAXIMUM
)
index = sl . Index ([ description_space , rating_space ], fields = [ product . rating ])


# Define your query and parameters to set them directly at query-time
# or let an LLM fill them in for you using the `natural_language_query` param.
# Don't forget to set your OpenAI API key to unlock this feature.
query = (
    sl . Query (
        index ,
        weights = {
            description_space : sl . Param ( "description_weight" ),
            rating_space : sl . Param ( "rating_weight" ),
        },
    )
    . find ( product )
    . similar (
        description_space ,
        sl . Param (
            "description_query" ,
            description = "The text in the user's query that refers to product descriptions." ,
        ),
    )
    . limit ( sl . Param ( "limit" ))
    . with_natural_query (
        sl . Param ( "natural_language_query" ),
        sl . OpenAIClientConfig ( api_key = os . environ [ "OPEN_AI_API_KEY" ], model = "gpt-4o" )
    )
)

# Run the app in-memory (server & Apache Spark executors available too!).
source = sl . InMemorySource ( product )
executor = sl . InMemoryExecutor ( sources = [ source ], indices = [ index ])
app = executor . run ()


# Ingest data into the system - index updates and other processing happens automatically.
source . put ([
    {
        "id" : 1 ,
        "description" : "Budget toothbrush in black color. Just what you need." ,
        "rating" : 1 ,
    },
    {
        "id" : 2 ,
        "description" : "High-end toothbrush created with no compromises." ,
        "rating" : 5 ,
    },
    {
        "id" : 3 ,
        "description" : "A toothbrush created for the smart 21st century man." ,
        "rating" : 3 ,
    },
])

result = app . query ( query , natural_query = "best toothbrushes" , limit = 1 )

# Examine the extracted parameters from your query
print ( json . dumps ( result . knn_params , indent = 2 ))

# The result is the 5-star rated product.
result . to_pandas ()

Dijalankan dalam produksi

Dengan satu perintah Anda dapat menjalankan superlink sebagai server API REST secara lokal atau di cloud Anda dengan server superlink. Dapatkan Konsumsi Data dan API Kueri, Inferensi Model Menanamkan dan Integrasi Basis Data Vektor yang Dalam Gratis!

Menyatukan evaluasi Anda, konsumsi dan menyajikan tumpukan dengan basis kode Python deklaratif tunggal. Superlinked memungkinkan ini dengan membiarkan Anda mendefinisikan skema data Anda, indeks vektor dan DAG komputasi yang menghubungkan semuanya sekaligus dan kemudian memilih pelaksana yang tepat untuk tugas - dalam memori atau server.

Jika Anda tertarik untuk belajar lebih banyak tentang berjalan pada skala, pesan demo untuk akses awal ke cloud terkelola kami.

Database vektor yang didukung

Superlinked menyimpan vektor Anda di basis data vektor Anda , dengan integrasi yang mendalam untuk:

• Redis
• Mongodb
• Qdrant
• Mana yang harus kita dukung selanjutnya?

Penasaran tentang pro basis data vektor secara umum? Komunitas kami membandingkan 44 database vektor pada 30+ fitur.

Logging

Log kerangka kerja superlink mencakup informasi kontekstual, seperti ID proses dan ruang lingkup paket. Informasi Identifikasi Pribadi (PII) disaring secara default tetapi dapat diekspos dengan variabel lingkungan SUPERLINKED_EXPOSE_PII ke true .

Sumber daya

• Perbandingan DB Vektor: Perbandingan kolaboratif sumber terbuka dari database vektor oleh superlinked.
• VectorHub: VectorHub adalah pusat pembelajaran yang gratis dan bersumber terbuka untuk orang-orang yang tertarik untuk menambahkan pengambilan vektor ke tumpukan ML mereka

Mendukung

Butuh bantuan? Kami di sini untuk mendukung Anda:

• Laporkan bug dengan membuat masalah
• Minta fitur baru di sini
• Mulailah diskusi tentang ide atau pertanyaan Anda

Harap buat masalah/diskusi terpisah untuk setiap topik untuk membantu kami mengatasi umpan balik Anda dengan lebih baik. Terima kasih telah berkontribusi!