barq

Dabarqus

Dabarqus é um aplicativo independente que implementa uma solução completa de pano. Ele foi projetado para ser fácil de usar e fácil de integrar aos seus aplicativos existentes. O Dabarqus inclui uma API REST, uma interface da linha de comando e um painel de administração.

Por que criar dabarqus

Se você é um desenvolvedor, a criação de uma solução básica de pano é bem direta. Existem toneladas de tutoriais e instruções, bem como o código Python para reutilizar. Mas, se você estiver implantando sua solução de pano em uma empresa ou para PCs para usuários finais, também precisará descobrir alguns problemas de implantação e manutenção potencialmente complicados. Isso significa também implantar o Python, um banco de dados vetorial, o modelo de incorporação à direita e possíveis desafios de licenciamento. Dabarqus foi criado para resolver esses problemas com uma solução autônoma e all-in-one sem dependências. Ele está escrito em C ++ de baixo nível com recursos de pesquisa vetorial incorporados, flexibilidade para usar o modelo AI de incorporação que é melhor para o seu caso de uso e uma API REST para facilitar a integração de desenvolvimento.

Índice

1. Início rápido
   • Ubuntu
   • macos
   • Windows
2. Características
3. Barq - interface da linha de comando
   • Usando com a CLI
     • Loja
     • Recuperar
4. API - Interface REST
   • Usando a API
5. Exemplos

Início rápido

Ubuntu

O Dabarqus funciona apenas na CPU, ou pode usar o NVIDIA CUDA para um desempenho mais alto. Para a versão CUDA (também conhecida como NVIDIA Cublas), você precisará instalar o driver da NVIDIA. A versão da CPU não requer nenhum software adicional. Observe que, para usar a versão CUDA, você precisará ter uma GPU da NVIDIA com suporte CUDA e baixar a versão CUDA do Dabarqus.

0. Para instalar os drivers da NVIDIA no Ubuntu (se você tiver uma GPU da NVIDIA), execute o seguinte comando:

   sudo ubuntu-drivers install

1. Descompactar o arquivo dabarqus em uma pasta

   unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
   cd Dabarqus-linux-DOWNLOADED_VERSION
   chmod +x ./bin/ *
   ./bin/barq service install

2. Abra um navegador e vá para http://localhost:6568/admin

macos

Para downloads de arquivos de pacotes, faça o seguinte:

1. Clique duas vezes no dabarqus-macos-download_version.pkg e instale
2. Após a instalação, abra seu navegador e navegue para http://localhost:6568/admin

Para downloads de arquivos zip, faça o seguinte:

1. Descompactar o arquivo dabarqus em uma pasta

   unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
   cd Dabarqus-linux-DOWNLOADED_VERSION
   ./bin/barq service install

2. Abra um navegador e vá para http://localhost:6568/admin

Windows

1. Clique duas vezes no dabarqus-windows-download_version.exe e instale
2. Clique duas vezes no ícone Dabarqus ou navegue para http://localhost:6568/admin

Características

1. Ingere documentos, bancos de dados e APIs : ingerir diversas fontes de dados como PDFs*, e -mails e dados brutos.

   • Não importa onde seus dados residam, o Dabarqus pode disponibilizá -los para o seu LLM

2. Promotamento no estilo LLM : use instruções simples no estilo LLM ao falar com seus bancos de memória.

   • Dabarqus recuperará dados relevantes usando o mesmo prompt que você fornece ao seu LLM
   • Não há necessidade de construir consultas especiais ou aprender uma nova linguagem de consulta

3. REST API : interface de controle abrangente para baixar modelos, solicitando índices semânticos e até inferência de LLM.

   • REST é uma interface padrão que desfruta de ampla adoção, então sua equipe não precisa aprender um sistema novo e complexo
   • Permite integração abrangente com ferramentas de desenvolvimento existentes para fácil adoção

4. Vários índices semânticos (bancos de memória) : agrupe seus dados em índices semânticos separados (bancos de memória).

   • Mantenha seus dados organizados pelo assunto, categoria ou qualquer agrupamento que você goste
   • Os bancos de memória são portáteis, para que você possa criá -los e usá -los onde quiser

5. SDKs : SDKs nativos em Python e JavaScript.

   • Integra -se facilmente aos projetos Python e JavaScript

6. Saída amiga da LLM : produz saída pronta para LLM que funciona com ChatGPT, Ollama e qualquer outro provedor de LLM

   • Funciona perfeitamente com o LLM de sua escolha

7. Painel de administrador : monitore o desempenho, teste bancos de memória e faça alterações em uma interface de usuário fácil de usar

   • Fácil acesso aos recursos Dabarqus
   • Monitore o desempenho do aplicativo com gráficos em tempo real

8. Mac, Linux e Windows Support : é executado nativamente com zero dependências em todas as plataformas: macOS (Intel ou Metal), Linux e Windows (CPU ou GPU)

   • Corre em qualquer plataforma que você use

9. Inferência LLM : converse com os modelos LLM através da API/SDKs Dabarqus

   • Recursos de chatbot embutidos para uso em seus aplicativos

*A edição profissional Dabarqus é necessária para email, mensagens e suporte da API.

Barq - Interface da linha de comando para Dabarqus

Para instalar: barq service install

Para desinstalar: barq service uninstall

Usando com a CLI

Loja

Uso: barq store --input-path <path to folder> --memory-bank "<memory bank name>"

Exemplo: barq store --input-path C:docs --memory-bank documents

Recuperar

Uso: barq retrieve --memory-bank "<memory bank name>"

• Exemplo: barq retrieve --memory-bank documents
• Exemplo: barq retrieve --memory-bank documents --query "Tell me about the documents" --query-limit 3 Isso exibirá três respostas para a consulta do banco de memória 'documentos'

API - Interface REST para Dabarqus

Método	Endpoint	Descrição	Parâmetros
PEGAR	/Saúde ou /API /Saúde	Verifique o status de saúde do serviço	Nenhum
PEGAR	/admin/*	Servir o aplicativo administrador	Nenhum
PEGAR	/ODOBO/*	Sirva o aplicativo ODOBO	Nenhum
PEGAR	/API/Modelos	Recuperar modelos de IA disponíveis	Nenhum
PEGAR	/API/Model/Metadata	Obtenha metadados para um modelo específico	modelRepo , filePath (opcional)
PEGAR	/API/Downloads	Obtenha informações sobre itens baixados	modelRepo (Opcional), filePath (Opcional)
PEGAR	/API/Downloads/Enqueue	Inocar um novo download	modelRepo , filePath
PEGAR	/API/Downloads/Cancel	Cancelar um download	modelRepo , filePath
PEGAR	/API/Downloads/Remover	Remova um item baixado	modelRepo , filePath
PEGAR	/API/Inferência	Obtenha informações sobre itens de inferência	alias ​​(opcional)
PEGAR	/API/Inferência/Iniciar	Iniciar uma inferência	alias , modelRepo , filePath , address (Opcional), port (Opcional), contextSize (Opcional), gpuLayers (Opcional), chatTemplate (Opcional)
PEGAR	/API/Inferência/Stop	Pare uma inferência	alias
PEGAR	/API/Inferência/Status	Obtenha o status de uma inferência	alias ​​(opcional)
PEGAR	/API/Inferência/Redefinir	Reiniciar uma inferência	alias
PEGAR	/API/Inferência/reiniciar	Reinicie a inferência atual	Nenhum
PEGAR	/API/Hardware ou/API/HardwareInfo	Obtenha informações de hardware	Nenhum
PEGAR	/API/seda	Obtenha status de memória	Nenhum
PEGAR	/API/seda/Ativar	Ativar memórias	Nenhum
PEGAR	/API/seda/desativar	Desativar memórias	Nenhum
PEGAR	/API/Silk/MemoryBanks	Obtenha informações dos bancos de memória	Nenhum
PEGAR	/API/SILK/MemoryBank/Active	Ative um banco de memória	memorybank
PEGAR	/API/SILK/MEMACKBANK/DEACTIVATE	Desativar um banco de memória	memorybank , all
PEGAR	/API/seda/consulta	Realize uma consulta semântica	(Parâmetros manipulados pela Silk Retriever)
PEGAR	/API/seda/saúde	Verifique a saúde do Retriever de seda	Nenhum
PEGAR	/API/seda/modelo/metadata	Obtenha metadados do modelo do Retriever de seda	(Parâmetros manipulados pela Silk Retriever)
PEGAR	/API/desligamento	Iniciar o desligamento do servidor	Nenhum
PUBLICAR	/API/UTILS/LOG	Escreva para log	Corpo JSON com detalhes de log
PUBLICAR	/API/seda/incorporação	Obtenha uma incorporação do Retriever de seda	(Parâmetros manipulados pela Silk Retriever)

Usando a API

• Exemplo: curl http://localhost:6568/api/silk/query?q=Tell%20me%20about%20the%20documents&limit=3&memorybank=docs

Exemplos

Exemplos de dabarqus em ação podem ser encontrados neste repo em exemplos .

• Pythonpdfchatbot-restapi: um exemplo de programa de chatbot usando dabarqus através da API REST para conversar com seus PDFs.
• Pythonpdfchatbot-pythonsdk: um exemplo de programa de chatbot usando dabarqus através do Python SDK para conversar com seus PDFs.
• StoreFiles: Um exemplo python de armazenamento de documentos em um banco de memória (índice semântico) usando o Python SDK

Notas:

1. A Dabarqus Professional Edition é necessária para e -mail, mensagens e suporte da API.