NEUM AI
1.0.0
홈페이지 | 문서 | 블로그 | 불화 | 지저귀다
Neum AI는 개발자가 검색 증강 생성 (RAG)을 통해 대규모 언어 모델을 맥락화하기 위해 개발자의 데이터를 활용하는 데 도움이되는 데이터 플랫폼입니다. 여기에는 문서 저장 및 NOSQL과 같은 기존 데이터 소스에서 데이터를 추출하고 벡터 임베드로 내용을 처리하고 유사성 검색을 위해 벡터 임베드를 벡터 데이터베이스로 수집하는 것이 포함됩니다.
응용 프로그램으로 확장 할 수있는 RAG에 대한 포괄적 인 솔루션을 제공하고 데이터 커넥터, 임베딩 모델 및 벡터 데이터베이스와 같은 서비스를 통합하는 데 소요되는 시간을 줄입니다.
이메일 (설립자@tryneum.com), 불화 또는 당사의 전화를 예약하여 팀에 연락 할 수 있습니다.
오늘 Dashboard.neum.ai에서 가입하십시오. 시작하려면 빠른 스타트를 참조하십시오.
Neum AI Cloud는 대규모 분산 아키텍처를 지원하여 벡터 임베딩을 통해 수백만 개의 문서를 실행합니다. 전체 기능 세트는 다음을 참조하십시오 : Cloud vs Local
neumai 패키지 설치 :
pip install neumai첫 번째 데이터 파이프 라인을 만들려면 QuickStart를 방문하십시오.
높은 수준에서 파이프 라인은 하나 또는 여러 개의 소스로 구성되어 데이터를 가져오고 하나는 컨텐츠를 벡터화하기 위해 하나의 임베드 커넥터, 상기 벡터를 저장하기 위해 싱크 커넥터를 저장합니다. 이 코드 스 니펫으로 우리는이 모든 것을 만들고 파이프 라인을 실행합니다.
from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline
website_connector = WebsiteConnector (
url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
selector = Selector (
to_metadata = [ 'url' ]
)
)
source = SourceConnector (
data_connector = website_connector ,
loader = HTMLLoader (),
chunker = RecursiveChunker ()
)
openai_embed = OpenAIEmbed (
api_key = "<OPEN AI KEY>" ,
)
weaviate_sink = WeaviateSink (
url = "your-weaviate-url" ,
api_key = "your-api-key" ,
class_name = "your-class-name" ,
)
pipeline = Pipeline (
sources = [ source ],
embed = openai_embed ,
sink = weaviate_sink
)
pipeline . run ()
results = pipeline . search (
query = "What are the challenges with scaling RAG?" ,
number_of_results = 3
)
for result in results :
print ( result . metadata ) from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline
website_connector = PostgresConnector (
connection_string = 'postgres' ,
query = 'Select * from ...'
)
source = SourceConnector (
data_connector = website_connector ,
loader = JSONLoader (
id_key = '<your id key of your jsons>' ,
selector = Selector (
to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
)
),
chunker = RecursiveChunker ()
)
openai_embed = OpenAIEmbed (
api_key = "<OPEN AI KEY>" ,
)
weaviate_sink = WeaviateSink (
url = "your-weaviate-url" ,
api_key = "your-api-key" ,
class_name = "your-class-name" ,
)
pipeline = Pipeline (
sources = [ source ],
embed = openai_embed ,
sink = weaviate_sink
)
pipeline . run ()
results = pipeline . search (
query = "..." ,
number_of_results = 3
)
for result in results :
print ( result . metadata ) from neumai . Client . NeumClient import NeumClient
client = NeumClient (
api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )Neum AI를 자신의 클라우드에 배포하는 데 관심이 있으시면 [email protected]으로 문의하십시오.
GitHub에 게시 된 샘플 백엔드 아키텍처가 출발점으로 사용할 수 있습니다.
최신 목록은 문서를 방문하십시오
로드맵은 Asks와 함께 발전하고 있으므로 누락 된 것이 있으면 문제를 열거 나 메시지를 보내주십시오.
커넥터
찾다
확장 성
실험
Neum AI를위한 추가 툴링은 여기에서 찾을 수 있습니다.
