NEUM AI
1.0.0
ホームページ|ドキュメント|ブログ|不和|ツイッター
Neum AIは、開発者が検索拡張生成（RAG）を介して大規模な言語モデルをコンテキスト化するためにデータを活用するのを支援するデータプラットフォームです。
アプリケーションでスケーリングし、データコネクタ、埋め込みモデル、ベクトルデータベースなどのサービスの統合に費やす時間を短縮できるRAGの包括的なソリューションを提供します。
電子メール（[email protected]）、不一致で、または私たちに電話をかけることで、チームに連絡できます。
Dashboard.neum.aiで今日サインアップしてください。開始するために私たちのQuickStartをご覧ください。
Neum AIクラウドは、大規模で分散されたアーキテクチャをサポートして、ベクトル埋め込みを介して何百万ものドキュメントを実行します。機能のセットについては、クラウドvsローカルを参照してください
neumaiパッケージをインストールします：
pip install neumai最初のデータパイプラインを作成するには、クイックスタートをご覧ください。
高いレベルでは、パイプラインは、データを引き出すための1つまたは複数のソース、コンテンツをベクトル化するための1つの埋め込みコネクタ、およびそのベクトルを保存する1つのシンクコネクタで構成されています。このコードのスニペットを使用すると、これらすべてを作成し、パイプラインを実行します。
from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline
website_connector = WebsiteConnector (
url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
selector = Selector (
to_metadata = [ 'url' ]
)
)
source = SourceConnector (
data_connector = website_connector ,
loader = HTMLLoader (),
chunker = RecursiveChunker ()
)
openai_embed = OpenAIEmbed (
api_key = "<OPEN AI KEY>" ,
)
weaviate_sink = WeaviateSink (
url = "your-weaviate-url" ,
api_key = "your-api-key" ,
class_name = "your-class-name" ,
)
pipeline = Pipeline (
sources = [ source ],
embed = openai_embed ,
sink = weaviate_sink
)
pipeline . run ()
results = pipeline . search (
query = "What are the challenges with scaling RAG?" ,
number_of_results = 3
)
for result in results :
print ( result . metadata ) from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline
website_connector = PostgresConnector (
connection_string = 'postgres' ,
query = 'Select * from ...'
)
source = SourceConnector (
data_connector = website_connector ,
loader = JSONLoader (
id_key = '<your id key of your jsons>' ,
selector = Selector (
to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
)
),
chunker = RecursiveChunker ()
)
openai_embed = OpenAIEmbed (
api_key = "<OPEN AI KEY>" ,
)
weaviate_sink = WeaviateSink (
url = "your-weaviate-url" ,
api_key = "your-api-key" ,
class_name = "your-class-name" ,
)
pipeline = Pipeline (
sources = [ source ],
embed = openai_embed ,
sink = weaviate_sink
)
pipeline . run ()
results = pipeline . search (
query = "..." ,
number_of_results = 3
)
for result in results :
print ( result . metadata ) from neumai . Client . NeumClient import NeumClient
client = NeumClient (
api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )Neum AIを独自のクラウドに展開することに興味がある場合は、[email protected]までお問い合わせください。
Githubでサンプルバックエンドアーキテクチャが公開されており、出発点として使用できます。
最新のリストについては、ドキュメントをご覧ください
私たちのロードマップは尋ねて進化しているので、不足しているものがある場合は、お気軽に問題を開いたり、メッセージを送ったりしてください。
コネクタ
検索
拡張性
実験的
Neum AIの追加のツールはこちらにあります：
