Download de NEUM AI - NEUM AI do download do código -fonte

NEUM AI

Outro código-fonte

1.0.0

Baixar

Neum ai

Página inicial | Documentação | Blog | Discord | Twitter

A NEUM AI é uma plataforma de dados que ajuda os desenvolvedores a aproveitar seus dados para contextualizar grandes modelos de linguagem por meio de geração aumentada de recuperação (RAG), que inclui extrair dados de fontes de dados existentes, como armazenamento de documentos e NOSQL, processando as conteúdas em incorporações de vetores e a ingestão de incorporação de vetores em busca de dados vetoriais para busca de similaridade.

Ele fornece uma solução abrangente para RAG que pode escalar com seu aplicativo e reduzir o tempo gasto integrando serviços, como conectores de dados, modelos de incorporação e bancos de dados de vetores.

Características

? Arquitetura distribuída de alta taxa de transferência para lidar com bilhões de pontos de dados. Permite altos graus de paralelização para otimizar a geração e a ingestão de incorporação.
? Conectores de dados internos a fontes de dados comuns, serviços de incorporação e lojas vetoriais.
Sincronização em tempo real de fontes de dados para garantir que seus dados estejam sempre atualizados.
♻ Dados personalizáveis Pré-processamento na forma de carregamento, Chunking e Selecionando.
? Gerenciamento de dados coesos para apoiar a recuperação híbrida com metadados. O Neum AI aumenta e rastreia automaticamente os metadados para proporcionar uma rica experiência de recuperação.

Fale conosco

Você pode chegar a nossa equipe por e -mail ([email protected]), na discórdia ou agendando uma ligação com a ligação.

Começando

NEUM AI Cloud

Inscreva -se hoje no painel.neum.ai. Veja o nosso rápido início para começar.

A nuvem Neum AI suporta uma arquitetura distribuída em larga escala para executar milhões de documentos por meio de incorporação de vetores. Para o conjunto completo de recursos, consulte: Cloud vs Local

Desenvolvimento local

Instale o pacote neumai :

pip install neumai

Para criar seus primeiros pipelines de dados, visite o nosso QuickStart.

Em um nível alto, um pipeline consiste em uma ou várias fontes para extrair dados, um conector incorporado para vetorizar o conteúdo e um conector de afundamento para armazenar os referidos vetores. Com este trecho de código, criaremos tudo isso e executaremos um oleoduto:

Criando e executando um pipeline

 from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  WebsiteConnector (
    url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
    selector = Selector (
        to_metadata = [ 'url' ]
    )
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = HTMLLoader (), 
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)
pipeline . run ()

results = pipeline . search (
    query = "What are the challenges with scaling RAG?" , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Criando e executando um oleoduto - Connector Postgres

 from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  PostgresConnector (
    connection_string = 'postgres' ,
    query = 'Select * from ...'
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = JSONLoader (
        id_key = '<your id key of your jsons>' ,
        selector = Selector (
            to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
            to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
        )
    ),
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)

pipeline . run ()

results = pipeline . search (
    query = "..." , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Publicação de oleoduto para Neum Cloud

 from neumai . Client . NeumClient import NeumClient
client = NeumClient (
    api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )

Auto-hospedeiro

Se você estiver interessado em implantar o Neum AI para sua própria nuvem, entre em contato conosco em [email protected].

Temos uma arquitetura de back -end de amostra publicada no GitHub, que você pode usar como ponto de partida.

Conectores disponíveis

Para uma lista atualizada, visite nossos documentos

Conectores de origem

PostGres
Arquivos hospedados
Sites
S3
Azure Blob
SharePoint
SingleStore
Supabase Storage

Conectores de incorporação

Openai incorporando
Azure OpenAi incorporando

Conectores de afundar

Supabase Postgres
Tecelava
QDRANT
Pinecone
SingleStore

Roteiro

Nosso roteiro está evoluindo com as perguntas; portanto, se houver alguma coisa faltando, sinta -se à vontade para abrir um problema ou nos enviar uma mensagem.

Conectores

Procurar