Unduh NEUM AI - Unduh Kode Sumber NEUM AI

NEUM AI

Kode sumber lainnya

1.0.0

Unduh

Neum ai

Beranda | Dokumentasi | Blog | Perselisihan | Twitter

Neum AI adalah platform data yang membantu pengembang memanfaatkan data mereka untuk mengontekstualisasikan model bahasa besar melalui pengambilan augmented generasi (RAG) ini termasuk mengekstraksi data dari sumber data yang ada seperti penyimpanan dokumen dan NoSQL, memproses konten ke dalam embedding vektor dan menelan vektor embedding ke dalam database vektor untuk pencarian yang sama.

Ini memberi Anda solusi komprehensif untuk RAG yang dapat skala dengan aplikasi Anda dan mengurangi waktu yang dihabiskan untuk mengintegrasikan layanan seperti konektor data, model embedding dan database vektor.

Fitur

? Arsitektur terdistribusi throughput tinggi untuk menangani miliaran titik data. Memungkinkan tingkat paralelisasi yang tinggi untuk mengoptimalkan pembuatan dan konsumsi penyematan.
? Konektor data bawaan ke sumber data umum, layanan penyematan dan penyimpanan vektor.
Sinkronisasi real-time dari sumber data untuk memastikan data Anda selalu terkini.
♻ Data yang dapat disesuaikan pra-pemrosesan dalam bentuk pemuatan, pemotongan dan pemilihan.
? Manajemen data yang kohesif untuk mendukung pengambilan hibrida dengan metadata. Neum AI secara otomatis menambah dan melacak metadata untuk memberikan pengalaman pengambilan yang kaya.

Bicaralah dengan kami

Anda dapat menghubungi tim kami baik melalui email ([email protected]), pada perselisihan atau dengan menjadwalkan panggilan dengan kami.

Memulai

Neum AI Cloud

Daftar hari ini di dashboard.neum.ai. Lihat QuickStart kami untuk memulai.

Neum AI Cloud mendukung arsitektur berskala besar dan terdistribusi untuk menjalankan jutaan dokumen melalui embedding vektor. Untuk set lengkap fitur lihat: cloud vs lokal

Pengembangan Lokal

Instal Paket neumai :

pip install neumai

Untuk membuat saluran pipa data pertama Anda, kunjungi QuickStart kami.

Pada level tinggi, pipa terdiri dari satu atau beberapa sumber untuk menarik data dari, satu konektor embed untuk memvektor konten, dan satu konektor wastafel untuk menyimpan vektor tersebut. Dengan cuplikan kode ini, kami akan membuat semua ini dan menjalankan pipa:

Membuat dan menjalankan pipa

 from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  WebsiteConnector (
    url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
    selector = Selector (
        to_metadata = [ 'url' ]
    )
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = HTMLLoader (), 
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)
pipeline . run ()

results = pipeline . search (
    query = "What are the challenges with scaling RAG?" , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Membuat dan Menjalankan Pipa - Konektor Postgres

 from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  PostgresConnector (
    connection_string = 'postgres' ,
    query = 'Select * from ...'
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = JSONLoader (
        id_key = '<your id key of your jsons>' ,
        selector = Selector (
            to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
            to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
        )
    ),
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)

pipeline . run ()

results = pipeline . search (
    query = "..." , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Penerbitan Pipa ke Neum Cloud

 from neumai . Client . NeumClient import NeumClient
client = NeumClient (
    api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )