barq
v0.71.0
Dabarqus 는 완전한 걸레 솔루션을 구현하는 독립형 응용 프로그램입니다. 사용하기 쉽고 기존 응용 프로그램과 쉽게 통합 할 수 있도록 설계되었습니다. Dabarqus에는 REST API, 명령 줄 인터페이스 및 관리자 대시 보드가 포함됩니다.
개발자라면 기본 래그 솔루션을 구축하는 것이 매우 간단합니다. 재사용 할 수있는 수많은 튜토리얼과 방법과 파이썬 코드가 있습니다. 그러나 회사 내 또는 최종 사용자 PC에 RAG 솔루션을 배포하는 경우 잠재적으로 까다로운 배포 및 유지 보수 문제를 파악해야합니다. 이는 또한 Python, 벡터 데이터베이스, 올바른 임베딩 AI 모델 및 가능한 라이센스 문제를 배포하는 것을 의미합니다. Dabarqus는 의존성이없는 독립형 올인원 솔루션으로 이러한 문제를 해결하기 위해 만들어졌습니다. 내장 된 벡터 검색 기능이있는 저수준 C ++로 작성되어 사용 사례에 가장 적합한 임베딩 AI 모델을 사용하는 유연성 및 손쉬운 개발 통합을위한 REST API.
Dabarqus는 CPU에서만 작동하거나 Nvidia Cuda를 사용하여 고급 성능을 발휘할 수 있습니다. Cuda (일명 Nvidia Cublas) 버전의 경우 Nvidia 드라이버를 설치해야합니다. CPU 버전에는 추가 소프트웨어가 필요하지 않습니다. CUDA 버전을 사용하려면 CUDA 지원이 포함 된 NVIDIA GPU가 있어야하며 CUDA 버전의 Dabarqus를 다운로드해야합니다.
Ubuntu (NVIDIA GPU가있는 경우)에 NVIDIA 드라이버를 설치하려면 다음 명령을 실행하십시오.
sudo ubuntu-drivers installdabarqus 파일을 폴더로 압축하십시오
unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
cd Dabarqus-linux-DOWNLOADED_VERSION
chmod +x ./bin/ *
./bin/barq service install 브라우저를 열고 http://localhost:6568/admin 으로 이동하십시오
패키지 파일 다운로드의 경우 다음을 수행하십시오.
http://localhost:6568/admin 으로 이동하십시오zip 파일 다운로드의 경우 다음을 수행하십시오.
dabarqus 파일을 폴더로 압축하십시오
unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
cd Dabarqus-linux-DOWNLOADED_VERSION
./bin/barq service install 브라우저를 열고 http://localhost:6568/admin 으로 이동하십시오
http://localhost:6568/admin 으로 탐색하십시오 문서, 데이터베이스 및 API 수집 : PDFS*, 이메일 및 원시 데이터와 같은 다양한 데이터 소스 수집.
LLM 스타일 프롬프트 : 메모리 뱅크와 대화 할 때 간단한 LLM 스타일 프롬프트를 사용하십시오.
REST API : 모델 다운로드, 시맨틱 인덱스 프롬프트 및 LLM 추론을위한 포괄적 인 제어 인터페이스.
다중 시맨틱 인덱스 (메모리 뱅크) : 데이터를 별도의 시맨틱 인덱스 (메모리 뱅크)로 그룹화하십시오.
SDK : 파이썬 및 JavaScript의 기본 SDK.
LLM 친화적 인 출력 : Chatgpt, Ollama 및 기타 LLM 제공 업체와 함께 작동하는 LLM 지원 출력을 생성합니다.
관리자 대시 보드 : 성능 모니터, 메모리 뱅크 테스트 및 사용하기 쉬운 UI를 변경합니다.
Mac, Linux 및 Windows Support : 모든 플랫폼에서 의존성이없는 기본적으로 실행됩니다 : MacOS (Intel 또는 Metal), Linux 및 Windows (CPU 또는 GPU)
LLM 추론 : Dabarqus API/SDKS를 통해 바로 LLM 모델과 채팅
*이메일, 메시징 및 API 지원에는 Dabarqus Professional Edition이 필요합니다.
설치하려면 : barq service install
제거하려면 : barq service uninstall
사용법 : barq store --input-path <path to folder> --memory-bank "<memory bank name>"
예 : barq store --input-path C:docs --memory-bank documents
사용법 : barq retrieve --memory-bank "<memory bank name>"
barq retrieve --memory-bank documentsbarq retrieve --memory-bank documents --query "Tell me about the documents" --query-limit 3 '문서'메모리 뱅크의 쿼리에 대한 세 가지 답변이 표시됩니다. | 방법 | 엔드 포인트 | 설명 | 매개 변수 |
|---|---|---|---|
| 얻다 | /건강 또는 /API /건강 | 서비스의 건강 상태를 확인하십시오 | 없음 |
| 얻다 | /admin/* | 관리자 응용 프로그램을 제공하십시오 | 없음 |
| 얻다 | /Odobo/* | Odobo 응용 프로그램을 제공하십시오 | 없음 |
| 얻다 | /API/모델 | 사용 가능한 AI 모델을 검색합니다 | 없음 |
| 얻다 | /API/모델/메타 데이터 | 특정 모델에 대한 메타 데이터를 얻으십시오 | modelRepo , filePath (선택 사항) |
| 얻다 | /API/다운로드 | 다운로드 된 항목에 대한 정보를 얻으십시오 | modelRepo (선택 사항), filePath (선택 사항) |
| 얻다 | /API/다운로드/enqueue | 새로운 다운로드를 흡수하십시오 | modelRepo , filePath |
| 얻다 | /API/다운로드/취소 | 다운로드를 취소하십시오 | modelRepo , filePath |
| 얻다 | /API/다운로드/제거 | 다운로드 된 항목을 제거하십시오 | modelRepo , filePath |
| 얻다 | /API/추론 | 추론 항목에 대한 정보를 얻으십시오 | alias (선택 사항) |
| 얻다 | /API/추론/시작 | 추론을 시작하십시오 | alias , modelRepo , filePath , address (선택 사항), port (선택 사항), contextSize (선택 사항), gpuLayers (선택 사항), chatTemplate (선택 사항) |
| 얻다 | /API/추론/정지 | 추론을 중지하십시오 | alias |
| 얻다 | /API/추론/상태 | 추론의 상태를 얻으십시오 | alias (선택 사항) |
| 얻다 | /API/추론/재설정 | 추론을 재설정하십시오 | alias |
| 얻다 | /API/추론/재시작 | 현재 추론을 다시 시작하십시오 | 없음 |
| 얻다 | /API/하드웨어 또는/API/HardwareInfo | 하드웨어 정보를 얻으십시오 | 없음 |
| 얻다 | /API/실크 | 메모리 상태를 얻으십시오 | 없음 |
| 얻다 | /API/실크/활성화 | 추억을 활성화합니다 | 없음 |
| 얻다 | /API/실크/비활성화 | 추억을 비활성화합니다 | 없음 |
| 얻다 | /API/실크/메모리 뱅크 | 메모리 뱅크 정보를 얻습니다 | 없음 |
| 얻다 | /API/실크/메모리 뱅크/활성화 | 메모리 뱅크를 활성화하십시오 | memorybank |
| 얻다 | /API/실크/메모리 뱅크/비활성화 | 메모리 뱅크를 비활성화하십시오 | memorybank , all |
| 얻다 | /API/실크/쿼리 | 시맨틱 쿼리를 수행하십시오 | (실크 리트리버에 의해 처리 된 매개 변수) |
| 얻다 | /API/실크/건강 | 실크 리트리버의 건강을 확인하십시오 | 없음 |
| 얻다 | /API/실크/모델/메타 데이터 | 실크 리트리버에서 모델 메타 데이터를 얻으십시오 | (실크 리트리버에 의해 처리 된 매개 변수) |
| 얻다 | /API/종료 | 서버 종료를 시작합니다 | 없음 |
| 우편 | /api/utils/log | 로그에 쓰십시오 | 로그 세부 사항이있는 JSON 본체 |
| 우편 | /API/실크/임베딩 | 실크 리트리버에서 삽입됩니다 | (실크 리트리버에 의해 처리 된 매개 변수) |
curl http://localhost:6568/api/silk/query?q=Tell%20me%20about%20the%20documents&limit=3&memorybank=docs Dabarqus의 예제는이 레포지어에서 예제 아래에서 찾을 수 있습니다.
