NEUM AI

НЕУМ Ай

Домашняя страница | Документация | Блог | Раздор | Twitter

Neum AI - это платформа данных, которая помогает разработчикам использовать свои данные для контекста для контекстуализации крупных языковых моделей посредством получения добычей получения для поиска (RAG) .

Он предоставляет вам всеобъемлющее решение для тряпки, которое может масштабироваться с вашим приложением и сократить время, потраченное на интеграцию услуг, таких как разъемы данных, модели внедрения и векторные базы данных.

Функции

• ? Высокая пропускная способность распределенной архитектуры для обработки миллиардов точек данных. Позволяет высокой степени параллелизации для оптимизации встраивания генерации и проглатывания.
• ? Встроенные разъемы данных с общими источниками данных, встраиваемыми услугами и векторными магазинами.
• Синхронизация источников данных в режиме реального времени для обеспечения того, чтобы ваши данные всегда были в курсе.
• ♻ Настраиваемая предварительная обработка данных в форме загрузки, поднятия и выбора.
• ? Управление сплоченными данными для поддержки гибридного извлечения с помощью метаданных. Neum AI автоматически дополняет и отслеживает метаданные, чтобы обеспечить богатый опыт поиска.

Поговори с нами

Вы можете связаться с нашей командой либо по электронной почте (основания по адресу @tryneum.com), либо по Discord, либо запланировав звонок с нами.

Начиная

Нейм AI Cloud

Зарегистрируйтесь сегодня на dashboard.neum.ai. Посмотрите на наш QuickStart, чтобы начать работу.

Облако Neum AI поддерживает крупномасштабную распределенную архитектуру для запуска миллионов документов с помощью векторного встраивания. Для полного набора функций см.: Cloud vs Local

Местное развитие

Установите пакет neumai :

pip install neumai

Чтобы создать ваши первые трубопроводы данных, посетите наш QuickStart.

На высоком уровне трубопровод состоит из одного или нескольких источников для извлечения данных, одного встроенного разъема для векторизации содержимого, и одного разъема раковины для хранения указанных векторов. С помощью этого фрагмента кода мы будем создавать все это и запустить трубопровод:

Создание и запуск трубопровода

 from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  WebsiteConnector (
    url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
    selector = Selector (
        to_metadata = [ 'url' ]
    )
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = HTMLLoader (), 
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)
pipeline . run ()

results = pipeline . search (
    query = "What are the challenges with scaling RAG?" , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Создание и запуск трубопровода - Postgres Connector

 from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  PostgresConnector (
    connection_string = 'postgres' ,
    query = 'Select * from ...'
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = JSONLoader (
        id_key = '<your id key of your jsons>' ,
        selector = Selector (
            to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
            to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
        )
    ),
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)

pipeline . run ()

results = pipeline . search (
    query = "..." , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Публикация трубопровода в Neum Cloud

 from neumai . Client . NeumClient import NeumClient
client = NeumClient (
    api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )

Самостоятельно

Если вы заинтересованы в развертывании Neum AI в свое собственное облако, свяжитесь с нами по адресу [email protected].

У нас есть образец бэкэнд -архитектуры, опубликованная на GitHub, которую вы можете использовать в качестве отправной точки.

Доступные разъемы

Чтобы получить обновленный список, посетите наши документы

Исходные разъемы

1. Постгрес
2. Размещенные файлы
3. Веб -сайты
4. S3
5. Ледяная капля
6. SharePoint
7. Singlestore
8. Хранилище супабазы

Встраивают разъемы

1. Openai Entgeddings
2. Azure Openai Entgeddings

Разъемы раковины

1. Supabase Postgres
2. Укоренившись
3. Qdrant
4. Pinecone
5. Singlestore

Дорожная карта

Наша дорожная карта развивается с спрашивающими, поэтому, если чего -то не хватает, не стесняйтесь открывать проблему или отправить нам сообщение.

Разъемы

• MySQL - Источник
• GitHub - источник
• Google Drive - источник
• Обнимающееся лицо - внедрение
• Lancedb - раковина
• Марко - раковина
• Милвус - раковина
• Chroma - раковина

Поиск

• Поиск обратной связи
• Поддержка фильтра
• Unified Neum AI -фильтры
• Умная маршрутизация (с классификацией на основе внедрения)
• Умная маршрутизация (на основе классификации на основе LLM)
• Самопроизводительный поиск (с генерацией атрибутов метаданных)

Расширяемость

• Документ Langchain / Llama Index для преобразователя документов Neum
• Пользовательский блюд и загрузка

Экспериментальный

• Асинхронное увеличение метаданных
• Разъем истории чата
• Структурированный (SQL и GraphQL) разъем поиска

НЕУМИ ИНСТРУМЕНТЫ

Дополнительные инструменты для Neum AI можно найти здесь:

• Neumai-Tools: содержит инструменты предварительной обработки для загрузки и подготовительных данных перед генерацией векторных встраиваний.