NEUM AI下載NEUM AI源代碼下載

NEUM AI

其他源碼

1.0.0

下載

neum ai

主頁|文檔|博客|不和諧|嘰嘰喳喳

NEUM AI是一個數據平台，可幫助開發人員通過檢索增強生成（RAG）將數據與大型語言模型進行上下文化，包括從文檔存儲和NOSQL等現有數據源中提取數據，將內容物處理到矢量嵌入式中，並將矢量嵌入媒介嵌入到矢量數據庫中，以進行相似的搜索。

它為您提供了一個全面的抹布解決方案，該解決方案可以隨著應用程序擴展，並減少集成數據連接器，嵌入模型和向量數據庫之類的服務所花費的時間。

特徵

？高吞吐量分佈式體系結構可處理數十個數據點。允許高度的並行化度優化嵌入的產生和攝入。
？內置數據連接器與通用數據源，嵌入服務和向量商店。
數據源的實時同步，以確保您的數據始終是最新的。
♻可自定義的數據以加載，分塊和選擇的形式進行預處理。
？具有凝聚力的數據管理，以支持與元數據的混合檢索。 Neum AI自動增加並跟踪元數據以提供豐富的檢索體驗。

與我們交談

您可以通過電子郵件（[email protected]），不和諧或安排我們的電話來聯繫我們的團隊。

入門

neum ai雲

今天在dashboard.neum.ai上註冊。請參閱我們的快速入門以開始。

NEUM AI雲支持大規模的分佈式體系結構，以通過向量嵌入來運行數百萬個文檔。對於完整的功能，請參見：雲與本地

地方發展

安裝neumai包：

pip install neumai

要創建第一個數據管道，請訪問我們的Quickstart。

在高級別上，管道由一個或多個來源組成，可以從一個或多個來源中獲取數據，一個嵌入連接器以向量化內容，一個接收器連接器用於存儲上述矢量。使用此代碼段，我們將製作所有這些並運行一條管道：

創建和運行管道

 from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  WebsiteConnector (
    url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
    selector = Selector (
        to_metadata = [ 'url' ]
    )
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = HTMLLoader (), 
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)
pipeline . run ()

results = pipeline . search (
    query = "What are the challenges with scaling RAG?" , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

創建和運行管道-Postgres連接器

 from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  PostgresConnector (
    connection_string = 'postgres' ,
    query = 'Select * from ...'
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = JSONLoader (
        id_key = '<your id key of your jsons>' ,
        selector = Selector (
            to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
            to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
        )
    ),
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)

pipeline . run ()

results = pipeline . search (
    query = "..." , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

出版管道到Neum Cloud

 from neumai . Client . NeumClient import NeumClient
client = NeumClient (
    api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )