NEUM AI
1.0.0
Homepage | Dokumentation | Blog | Zwietracht | Twitter
Neum AI ist eine Datenplattform, die Entwicklern hilft, ihre Daten zu nutzen, um große Sprachmodelle durch Abrufen von Augmented Generation (RAG) zu kontextualisieren. Dies umfasst das Extrahieren von Daten aus vorhandenen Datenquellen wie Dokumentenspeicherung und NOSQL, die Verarbeitung der Inhalte in Vektor -Einbettungen und die Einnahme der Vektor -Einbettungen in Vektordatenbanken für die Suche für Ähnlichkeits -Suchen.
Es bietet Ihnen eine umfassende Lösung für RAG, die mit Ihrer Anwendung skaliert und die zeitgewinnenden Integration von Diensten wie Datenverbindungen, Einbettungsmodellen und Vektordatenbanken verringert werden kann.
Sie können unser Team entweder per E -Mail ([email protected]), auf Zwietracht oder durch Planung eines Anrufs mit uns erreichen.
Melden Sie sich noch heute bei Dashboard.neum.ai an. Sehen Sie unseren QuickStart, um loszulegen.
Die Neum-AI-Cloud unterstützt eine groß angelegte, verteilte Architektur, um Millionen von Dokumenten durch Vektoreinbettung durchzuführen. Für den vollständigen Satz von Funktionen siehe: Cloud vs Lokal
Installieren Sie das neumai -Paket:
pip install neumaiUm Ihre ersten Datenpipelines zu erstellen, besuchen Sie unseren QuickStart.
Auf hohem Niveau besteht eine Pipeline aus einer oder mehreren Quellen, um Daten aus dem Einbettungsanschluss zu ziehen, um den Inhalt zu vectorisieren, und einen Sink -Anschluss, um diese Vektoren zu speichern. Mit diesem Code -Snippet werden wir all dies herstellen und eine Pipeline betreiben:
from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline
website_connector = WebsiteConnector (
url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
selector = Selector (
to_metadata = [ 'url' ]
)
)
source = SourceConnector (
data_connector = website_connector ,
loader = HTMLLoader (),
chunker = RecursiveChunker ()
)
openai_embed = OpenAIEmbed (
api_key = "<OPEN AI KEY>" ,
)
weaviate_sink = WeaviateSink (
url = "your-weaviate-url" ,
api_key = "your-api-key" ,
class_name = "your-class-name" ,
)
pipeline = Pipeline (
sources = [ source ],
embed = openai_embed ,
sink = weaviate_sink
)
pipeline . run ()
results = pipeline . search (
query = "What are the challenges with scaling RAG?" ,
number_of_results = 3
)
for result in results :
print ( result . metadata ) from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline
website_connector = PostgresConnector (
connection_string = 'postgres' ,
query = 'Select * from ...'
)
source = SourceConnector (
data_connector = website_connector ,
loader = JSONLoader (
id_key = '<your id key of your jsons>' ,
selector = Selector (
to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
)
),
chunker = RecursiveChunker ()
)
openai_embed = OpenAIEmbed (
api_key = "<OPEN AI KEY>" ,
)
weaviate_sink = WeaviateSink (
url = "your-weaviate-url" ,
api_key = "your-api-key" ,
class_name = "your-class-name" ,
)
pipeline = Pipeline (
sources = [ source ],
embed = openai_embed ,
sink = weaviate_sink
)
pipeline . run ()
results = pipeline . search (
query = "..." ,
number_of_results = 3
)
for result in results :
print ( result . metadata ) from neumai . Client . NeumClient import NeumClient
client = NeumClient (
api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )Wenn Sie daran interessiert sind, Neum AI für Ihre eigene Cloud zu bereitstellen, kontaktieren Sie uns unter [email protected].
Wir haben eine Beispiel -Backend -Architektur auf GitHub veröffentlicht, die Sie als Ausgangspunkt verwenden können.
Eine aktuelle Liste finden Sie in unseren Dokumenten
Unsere Roadmap entwickelt sich mit den Fragen weiter. Wenn also etwas fehlt. Wenn Sie also ein Problem öffnen oder uns eine Nachricht senden.
Anschlüsse
Suchen
Erweiterbarkeit
Experimental
Zusätzliche Werkzeuge für Neum -KI finden Sie hier:
