NEUM AI Download - NEUM AI Source Code Download

NEUM AI

Autre code source

1.0.0

Télécharger

Neum ai

Page d'accueil | Documentation | Blog | Discorde | Gazouillement

Neum AI est une plate-forme de données qui aide les développeurs à tirer parti de leurs données pour contextualiser les modèles de grandes langues grâce à la génération augmentée (RAG) de récupération , ce qui comprend l'extraction de données à partir de sources de données existantes comme le stockage de documents et le nosql, le traitement du contenu dans les intégres de vecteur et l'ingérence des intégres vectoriels dans des bases de données vectorielles pour une recherche de similitude.

Il vous fournit une solution complète pour le chiffon qui peut évoluer avec votre application et réduire le temps passé à intégrer des services tels que les connecteurs de données, les modèles d'intégration et les bases de données vectorielles.

Caractéristiques

? Architecture distribuée à haut débit pour gérer des milliards de points de données. Permet aux degrés élevés de parallélisation d'optimiser la génération et l'ingestion d'intégration.
? Connecteurs de données intégrés aux sources de données courantes, aux services d'intégration et de magasins vectoriels.
Synchronisation en temps réel des sources de données pour garantir que vos données sont toujours à jour.
♻ Pré-traitement des données personnalisables sous forme de chargement, de section et de sélection.
? Gestion des données cohésives pour soutenir la récupération hybride avec des métadonnées. Neum AI augmente et suit automatiquement les métadonnées pour offrir une riche expérience de récupération.

Parler avec nous

Vous pouvez rejoindre notre équipe soit par e-mail ([email protected]), sur Discord, soit en planifiant un appel avec nous.

Commencer

Neum AI Cloud

Inscrivez-vous aujourd'hui sur Dashboard.neum.ai. Voir notre Quickstart pour commencer.

Le cloud Neum AI prend en charge une architecture distribuée à grande échelle pour gérer des millions de documents via l'intégration de vecteur. Pour l'ensemble complet des fonctionnalités, voir: Cloud vs local

Développement local

Installez le package neumai :

pip install neumai

Pour créer vos premiers pipelines de données, visitez notre Quickstart.

À un niveau élevé, un pipeline se compose d'une ou de plusieurs sources pour extraire des données, un connecteur intégré pour vectoriser le contenu et un connecteur d'évier pour stocker lesdits vecteurs. Avec cet extrait de code, nous allons créer tout cela et exécuter un pipeline:

Créer et exécuter un pipeline

 from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  WebsiteConnector (
    url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
    selector = Selector (
        to_metadata = [ 'url' ]
    )
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = HTMLLoader (), 
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)
pipeline . run ()

results = pipeline . search (
    query = "What are the challenges with scaling RAG?" , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Création et exécution d'un pipeline - Connecteur Postgres

 from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  PostgresConnector (
    connection_string = 'postgres' ,
    query = 'Select * from ...'
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = JSONLoader (
        id_key = '<your id key of your jsons>' ,
        selector = Selector (
            to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
            to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
        )
    ),
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)

pipeline . run ()

results = pipeline . search (
    query = "..." , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Publication du pipeline à Neum Cloud

 from neumai . Client . NeumClient import NeumClient
client = NeumClient (
    api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )