Главная страница>Связанные с программированием>AI Исходный код
Скачать

Синтезаторная машина

Агенты ИИ - это государственные машины, а не даги

Synth Machines позволяет пользователям создавать и запускать машины AIG Agent Agent ( Synth ), предоставляя SynthDefinition для определения структурированного рабочего процесса ИИ.
Государственные машины являются мощной конструкцией, поскольку они позволяют эксперту домена деконструировать проблему в наборы состояний и переходов.
Переходы между состояниями могут затем вызывать LLM, инструмент, процесс данных или смесь многих выходов.

Установка

Модели API

Установите пакет. pip install synth_machine[openai,togetherai,anthropic] или poetry add synth_machine[openai,togetherai,anthropic]

Добавьте или настройка ключей среды API -провайдера, для которых 

 # You only need to set the API providers you want to use.
export OPENAI_API_KUY=secret
export ANTHROPIC_API_KEY=secret
export TOGETHER_API_KEY=secret

(скоро) местные модели

pip install synth_machine[vllm,llamacpp] или poetry add synth_machine[vllm,llamacpp]

Скорее всего, вам потребуется настроить CUDA, VLLM или Llama.cpp для местного использования.

Полезные ссылки:

  • https://docs.vllm.ai/en/latest/getting_started/installation.html
  • https://developer.nvidia.com/cuda-toolkit
  • https://github.com/ggerganov/llama.cpp

Определите синтезатор 

 agent = Synth(
    config: dict[SynthDefinition], # Synth state machine defining states, transitions and prompts.
    tools=[], # List of tools the agent will use
    memory={}, # Any existing memory to add on top of any model_config.initial_memory
    rag_runner: Optional[RAG] = None # Define a RAG integration for your agent.
    postprocess_functions = [] # Any glue code functions
    store : ObjectStore = ObjectStore(":memory:") # Any files created by tools will automatically go to you object store

SynthDefinition можно найти в синтезационных документах или Synth_machine/Synth_definition.py. Пидантические базодели, которые составляют SynthDefinition , станут наиболее точным представлением Synth .
Мы ожидаем, что спецификация будет иметь обновления между основными версиями.

Состояние агента и возможные триггеры

В любой момент вы можете проверить текущее состояние и следующие триггеры 

 # Check state
agent.current_state()

# Triggers
agent.interfaces_for_available_triggers()

Запустить синтезатор

Партия 

 await agent.trigger(
    "[trigger_name]",
    params={
        "input_1": "hello"
    }
)

Переходные вызовы будут выводить любую выходную переменную, сгенерированную в этом переходе.

Потоковая передача 

 await agent.streaming_trigger(
    "[trigger_name]",
    params={
        "input_1": "hello"
    }
)

Потоковые ответы дают любое из следующих событий: 

 class YieldTasks(StrEnum):
    CHUNK = "CHUNK"
    MODEL_CONFIG = "MODEL_CONFIG"
    SET_MEMORY = "SET_MEMORY"
    SET_ACTIVE_OUTPUT = "SET_ACTIVE_OUTPUT"
  • CHUNK : поколения LLM отправляются кусочками один токен за раз.
  • MODEL_CONFIG : Выходы, которые исполнитель в настоящее время используется для любых специфических интерфейсов по провайдеру.
  • SET_MEMORP : отправляет настройки событий Новые переменные памяти
  • SET_ACTIVE_OUTPUT : дает выходной выход текущего перехода.

Это позволяет пользователям экспериментировать с использованием trigger , а затем интегрироваться в поколения LLM в реальном времени для пользователей, использующих события на стороне сервера (SSE) и trigger_streaming .

LLMS

Мы предлагаем несколько исполнителей для создания локальных или API -управляемых завершений чата.

Модели API

  • openai : https://openai.com/api/pricing/
  • togetherai : https://docs.together.ai/docs/infere-models
  • anthropic : https://docs.anthropic.com/en/docs/models-overview
  • (скоро) google : https://cloud.google.com/vertex-ai/generative-ai/docs/multimodal/overview

Местный (скоро)

  • VLLM : https://github.com/vllm-project/vllm
  • Llama-CPP : https://github.com/ggerganov/llama.cpp

Model Config

Вы можете указать поставщика и модель в либо в default-model-config а также в базе Synth или model_config на выходе перехода. 

 ModelConfig:
...
executor: [openai|togetherai|anthropic|vllm|llamacpp]
llm_name: [model_name]

Память

Память агента - это словарь, содержащий все промежуточные переменные, создаются в предыдущих состояниях и входах человека / системы. 

 agent.memory
# -> {
#   "[memory_key]": [memory_value]
# }

Инструменты

Функции постпроцессы должны использоваться только для базового клея, все основные функциональные возможности должны быть встроены в инструменты.

Инструменты находятся в восстановлении и могут быть добавлены путем предоставления схемы JSON API

Перейти к "./tools/tofuTool/api.py чтобы просмотреть функциональность.

Начать API 

 cd tools/tofuTool
poetry install
poetry run uvicorn api:app --port=5001 --reload

Получить спецификацию API 

 curl -X GET http://localhost:5001/openapi.json > openapi_schema.json

Определить инструмент

Вы можете определить инструмент как таковой только с помощью имени, конечной точки API и схемы Tool OpenAPI. 

 tofu_tool = Tool(
    name="tofu_tool",
    api_endpoint="http://localhost:5001",
    api_spec=tool_spec
)

Синтетическая машина тряпка

Поиск, предназначенная для поиска, является мощным инструментом для улучшения ответов LLM путем семантически похожих примеров или привлечения материала, который пытается генерировать LLM.

synth_machine гибко в том, что до тех пор, пока вы наследуете от synth_machine.RAG и создаете:

  • embed(documents: List[str]) и
  • query(prompt: str, rag_config: Optional[synth_machine.RAGConfig])

Легко интегрировать несколько поставщиков и векторных баз данных. Со временем будут поддержаны и реализации сообщества RAG для широкого спектра поставщиков поставщиков и векторных баз данных.

Rag example qdrant & fastembed

Следующий класс RAG идеально подходит для экспериментов с местными настройками RAG на процессоре. 

 pip install qdrant-client, fastembed

Определите класс Rag 

 from synth_machine.rag import RAG
from qdrant_client import AsyncQdrantClient
from fastembed import TextEmbedding
from typing import List, Optional
from qdrant_client.models import Distance, VectorParams, PointStruct


class Qdrant(RAG):

    """
    VectorDB: Qdrant - https://github.com/qdrant/qdrant
    Embeddings: FastEmbed - https://github.com/qdrant/fastembed

    This provides fast and lightweight on-device CPU embeddings creation and 
    similarity search using Qdrant in memory.
    """
    
    def __init__(
        self,
        collection_name: str,
        embedding_model: str="BAAI/bge-small-en-v1.5",
        embedding_dimensions: int=384,
        embedding_threads: int=-1,
        qdrant_location: str=":memory:",
    ):
        self.embedding_model = TextEmbedding(
            model_name=embedding_model,
            threads=embedding_threads
        )
        self.embedding_dimensions = embedding_dimensions
        self.qdrant = AsyncQdrantClient(qdrant_location)
        self.collection_name = collection_name
    
    async def create_collection(self) -> bool:
        if await self.qdrant.collection_exists(self.collection_name):
            return True
        else:
            return await self.qdrant.create_collection(
                collection_name=self.collection_name,
                vectors_config=VectorParams(
                    size=self.embedding_dimensions, # maps to 'BAAI/bge-small-en-v1.5' model dimensions
                    distance=Distance.COSINE
                ) 
            )
    
    async def embed(self, documents: List[str], metadata: Optional[List[dict]]=None):
        if metadata and len(documents) != len(metadata):
            raise ValueError("documents and metadata must be the same length")
        embedding_list = list(
            self.embedding_model.embed(documents)
        )
        upsert_response = await self.qdrant.upsert(
            collection_name=self.collection_name,
            points=[
                PointStruct(
                    id=i,
                    vector=list(vector),
                    payload=metadata[i]
                )
                for i, vector in enumerate(embedding_list)
            ]
        )
        return upsert_response.status
        

    async def query(self, prompt: str, rag_config: RAGConfig) -> List[dict]:
        embedding = next(self.embedding_model.embed([prompt]))
            
        similar_responses = await self.qdrant.search(
            collection_name=self.collection_name,
            query_vector=embedding,
            limit=rag_config.n
        )
        return [
            point.payload for point in similar_responses
        ]

Теперь инициируйте класс Qdrant и предоставьте при определении Synth . 

 qdrant = Qdrant(collection_name="tofu_examples")
await qdrant.create_collection()

agent = Synth(
    ...
    rag_runner=Qdrant
)

Магазин

Инструменты могут возвращать различные объекты. Любой файл, созданный инструментом, автоматически перейдет в ваш agent.store . Мы используем ObjectStore для хранения файлов, с ObjectStore(":memory:") в качестве по умолчанию.

Чтобы получить файл: agent.store.get(file_name)

ObjectStore позволяет легко интегрировать:

  • Локальный магазин файлов
  • S3
  • GCS
  • Лазур

Пример магазина объектов GCS 

 from synth_machine.machine import ObjectStore

agent = Agent(
    ...
    store=ObjectStore("gs://[bucket_name]/[prefix]))
)

Пользовательские функции

Любая пользовательская функциональность может быть определена как пользовательская функция (UDF).
synth-machine Synth.memory 

 # Define postprocess function

from synth_machine.user_defined_functions import udf

@udf
def abc_postprocesss(memory):
    ...
    return memory["variable_key"]

agent = Synth(
  ...
  user_defined_functions = {
    "abc": abc_postprocess
  }
)

Пример конфигурации перехода UDF 

 ...
- key: trigger_udf
  inputs:
    - key: variable_key
  outputs:
    - key: example_udf
      udf: abc

Примечание. Любая не тривиальная функциональность должна быть инструментом, а не UDF.

Расширять
Дополнительная информация
Связанные приложения
Рекомендуем вам
Связанные новости Все