Descargar NEUM AI - descarga del código fuente NEUM AI

NEUM AI

Otro código fuente

1.0.0

Descargar

Neum ai

Página de inicio | Documentación | Blog | Discordia | Gorjeo

Neum AI es una plataforma de datos que ayuda a los desarrolladores a aprovechar sus datos para contextualizar modelos de idiomas grandes a través de la generación de recuperación aumentada (RAG) Esto incluye la extracción de datos de fuentes de datos existentes como el almacenamiento de documentos y NoSQL, procesando los contenidos en integridades vectoriales e ingerir las incrustaciones vectoriales en las datos vectoriales para la búsqueda de similitud.

Le proporciona una solución integral para RAG que puede escalar con su aplicación y reducir el tiempo dedicado a integrar servicios como conectores de datos, modelos de incrustación y bases de datos vectoriales.

Características

? Arquitectura distribuida de alto rendimiento para manejar miles de millones de puntos de datos. Permite altos grados de paralelización para optimizar la generación e ingestión de incrustaciones.
? Conectores de datos incorporados a fuentes de datos comunes, servicios de incrustación y tiendas vectoriales.
Sincronización en tiempo real de fuentes de datos para garantizar que sus datos siempre estén actualizados.
♻ Preprocesamiento de datos personalizables en forma de carga, fragmentación y selección.
? Manejo de datos cohesivos para apoyar la recuperación híbrida con metadatos. Neum AI aumenta y rastrea automáticamente metadatos para proporcionar una rica experiencia de recuperación.

Hablar con nosotros

Puede comunicarse con nuestro equipo, ya sea por correo electrónico ([email protected]), en Discord o programando una llamada con nosotros.

Empezando

Nube de neum ai

Regístrese hoy en Dashboard.neum.ai. Vea nuestro inicio rápido para comenzar.

NEUM AI Cloud admite una arquitectura distribuida a gran escala para ejecutar millones de documentos a través de la incrustación de vectores. Para el conjunto completo de características, consulte: Cloud Vs Local

Desarrollo local

Instale el paquete neumai :

pip install neumai

Para crear sus primeras tuberías de datos, visite nuestros rápidos.

En un nivel alto, una tubería consta de una o múltiples fuentes para extraer datos, un conector de inserción para vectorizar el contenido y un conector de sumidero para almacenar dichos vectores. Con este fragmento de código elaboraremos todos estos y ejecutaremos una tubería:

Crear y ejecutar una tubería

 from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  WebsiteConnector (
    url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
    selector = Selector (
        to_metadata = [ 'url' ]
    )
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = HTMLLoader (), 
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)
pipeline . run ()

results = pipeline . search (
    query = "What are the challenges with scaling RAG?" , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Creación y ejecución de una tubería - Conector Postgres

 from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  PostgresConnector (
    connection_string = 'postgres' ,
    query = 'Select * from ...'
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = JSONLoader (
        id_key = '<your id key of your jsons>' ,
        selector = Selector (
            to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
            to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
        )
    ),
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)

pipeline . run ()

results = pipeline . search (
    query = "..." , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Publicación de tuberías a Neum Cloud

 from neumai . Client . NeumClient import NeumClient
client = NeumClient (
    api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )