superlinked

Superlinked es un marco de Python para ingenieros de IA que construyen aplicaciones de búsqueda y recomendación de alto rendimiento que combinan datos estructurados y no estructurados . Verifique la documentación para comenzar.

Tabla de contenido

• Tabla de contenido
• Descripción general
• Características
• Casos de uso
• Experimentar en un cuaderno
  • Instale la biblioteca superlinguelada
  • Ejecute el ejemplo:
• Ejecución en producción
  • Bases de datos vectoriales compatibles
• Explotación florestal
• Recursos
• Apoyo

Descripción general

• Por qué : Mejore la relevancia de su búsqueda de vectores codificando los metadatos Togehter con sus datos no estructurados en vectores.
• Qué : un marco y un servidor API REST autohostable que conecta sus datos, la base de datos vectorial y los servicios de backend.
• Cómo : Construya datos personalizados y consultas de incrustación de modelos a partir de codificadores previamente capacitados a partir de sentence-transformers , codificadores open-clip y personalizados para números, marcas de tiempo y datos categóricos. Consulte la función y los cuadernos de uso de casos a continuación para ver ejemplos.

Si te gusta lo que hacemos, ¡danos una estrella!

---

Características

• Incrustar datos estructurados y no estructurados (texto | Imagen | Número | Categoría | Tiempo | Evento)
• Combinar codificadores para crear un modelo personalizado (cuaderno)
• Agregue un codificador personalizado (cuaderno)
• Actualice sus vectores con eventos y relaciones de comportamiento (cuaderno)
• Use pesos de tiempo de consulta (cuaderno)
• Consulta con lenguaje natural (cuaderno)
• Filtrar sus resultados (cuaderno)
• Vectores de exportación para el análisis (cuaderno)
• Incrustar texto o imágenes en un espacio vectorial multimodal (cuaderno)

Puede consultar una lista completa de nuestras características y conceptos.

Casos de uso

Sumerja más profundamente con nuestros cuadernos sobre cómo cada caso de uso se beneficia del marco superlinguido.

• Rag : HR KnowledgeBase
• Búsqueda semántica : películas, noticias de negocios, imágenes de productos y descripciones
• Sistemas de recomendación : comercio electrónico
• Análisis : adquisición de usuarios, expansión de palabras clave

Puede consultar una lista completa de ejemplos aquí.

Experimentar en un cuaderno

Vamos a construir una búsqueda de productos de comercio electrónico que comprenda las descripciones y calificaciones de productos:

Instale la biblioteca superlinguelada

 %pip install superlinked

Ejecute el ejemplo:

La primera ejecución tardará un minuto en descargar el modelo de incrustación.

 import json
import os

from superlinked import framework as sl


class Product ( sl . Schema ):
    id : sl . IdField
    description : sl . String
    rating : sl . Integer


product = Product ()

description_space = sl . TextSimilaritySpace (
    text = product . description , model = "Alibaba-NLP/gte-large-en-v1.5"
)
rating_space = sl . NumberSpace (
    number = product . rating , min_value = 1 , max_value = 5 , mode = sl . Mode . MAXIMUM
)
index = sl . Index ([ description_space , rating_space ], fields = [ product . rating ])


# Define your query and parameters to set them directly at query-time
# or let an LLM fill them in for you using the `natural_language_query` param.
# Don't forget to set your OpenAI API key to unlock this feature.
query = (
    sl . Query (
        index ,
        weights = {
            description_space : sl . Param ( "description_weight" ),
            rating_space : sl . Param ( "rating_weight" ),
        },
    )
    . find ( product )
    . similar (
        description_space ,
        sl . Param (
            "description_query" ,
            description = "The text in the user's query that refers to product descriptions." ,
        ),
    )
    . limit ( sl . Param ( "limit" ))
    . with_natural_query (
        sl . Param ( "natural_language_query" ),
        sl . OpenAIClientConfig ( api_key = os . environ [ "OPEN_AI_API_KEY" ], model = "gpt-4o" )
    )
)

# Run the app in-memory (server & Apache Spark executors available too!).
source = sl . InMemorySource ( product )
executor = sl . InMemoryExecutor ( sources = [ source ], indices = [ index ])
app = executor . run ()


# Ingest data into the system - index updates and other processing happens automatically.
source . put ([
    {
        "id" : 1 ,
        "description" : "Budget toothbrush in black color. Just what you need." ,
        "rating" : 1 ,
    },
    {
        "id" : 2 ,
        "description" : "High-end toothbrush created with no compromises." ,
        "rating" : 5 ,
    },
    {
        "id" : 3 ,
        "description" : "A toothbrush created for the smart 21st century man." ,
        "rating" : 3 ,
    },
])

result = app . query ( query , natural_query = "best toothbrushes" , limit = 1 )

# Examine the extracted parameters from your query
print ( json . dumps ( result . knn_params , indent = 2 ))

# The result is the 5-star rated product.
result . to_pandas ()

Ejecución en producción

Con un solo comando, puede ejecutar superlinked como un servidor API REST localmente o en su nube con un servidor superlinguido. ¡Obtenga API de ingestión de datos y consultas, incrustando inferencia de modelo e integraciones de base de datos vectoriales de forma gratuita!

Unifique su evaluación, ingestión y servir pilas con una única base de código de Python declarativa. Superlinked permite esto permitiéndole definir su esquema de datos, los índices de vectores y el DAG de cálculo que los vincula a todos a la vez y luego elige el ejecutor adecuado para la tarea: en memoria o servidor.

Si está interesado en aprender más sobre la ejecución a escala, reserve una demostración para un acceso temprano a nuestra nube administrada.

Bases de datos vectoriales compatibles

Superlinked almacena sus vectores en su base de datos Vector , con integraciones profundas para:

• Rehacer
• Mongodb
• Qdrant
• ¿Cuál deberíamos apoyar a continuación?

¿Curiosos sobre Vector Database Pros & Contras en general? Nuestra comunidad comparó 44 bases de datos vectoriales en más de 30 características.

Explotación florestal

Los registros de marco superlinguesos incluyen información contextual, como el ID de proceso y el alcance del paquete. La información de identificación personal (PII) se filtra de forma predeterminada, pero puede expuesta con el entorno SUPERLINKED_EXPOSE_PII a true .

Recursos

• Vector DB Comparación: comparación de colaboración de código abierto de bases de datos de vectores por superlinguesas.
• VectorHub: Vectorhub es un centro de aprendizaje gratuito y de código abierto para personas interesadas en agregar la recuperación de vectores a su pila ML

Apoyo

¿Necesitar ayuda? Estamos aquí para apoyarte:

• Informe un error creando un problema
• Solicite una nueva función aquí
• Comience una discusión sobre sus ideas o preguntas

Cree problemas/discusiones separados para cada tema para ayudarnos a abordar mejor sus comentarios. ¡Gracias por contribuir!