edgen

로컬 Genai API 서버 : 로컬 Genai의 OpenAi의 API를위한 드롭 인 교체

| 문서 | 블로그 | 불화 | 로드맵 |

Edgenchat, ⚡edgen이 구동하는 로컬 채팅 앱

• OpenAi Compliant API : ⚡edgen은 OpenAI 호환 API를 구현하여 드롭 인 교체품입니다.
• 멀티 엔드 포인트 지원 : pointedgen은 오디오 전사를위한 채팅 완료 (LLM) 및 Speech-to-Text (Whisper)와 같은 여러 AI 엔드 포인트를 노출시킵니다.
• Model Agnostic : llms (llama2, mistral, mixtral ...), speech-to-text (Whisper) 및 기타 많은 것들.
• 최적화 된 추론 : AI 최적화에서 박사 학위를 취득 할 필요가 없습니다. ⚡edgen은 다른 하드웨어, 플랫폼 및 모델에 대한 추론 최적화의 복잡성을 추상화합니다.
• Modular : gedgen은 모델 및 런타임이 불가능합니다. 새로운 모델을 쉽게 추가 할 수 있으며 ⚡edgen 은 사용자 하드웨어에 가장 적합한 런타임을 선택할 수 있습니다. 최신 모델과 ML 런타임에 대해 계속 유지할 필요가 없습니다.
• 모델 캐싱 : :edgen은 로컬로 기초 모델을 캐시하므로 1 모델은 수백 가지의 다양한 앱에 전원을 공급할 수 있습니다. 사용자는 동일한 모델을 여러 번 다운로드 할 필요가 없습니다.
• 기본 : ⚡edgen은? Rust에 내장되어 있으며 Windows, MacOS 및 Linux 등 모든 인기있는 플랫폼에 기본적으로 편집됩니다. 도커가 필요하지 않습니다.
• 그래픽 인터페이스 : 사용자가 모델, 엔드 포인트 및 권한을 효율적으로 관리 할 수 ​​있도록 그래픽 사용자 인터페이스.

⚡edgen을 사용하면 앱에서 Genai를 사용자의 장치에서 완전히 로컬로 사용할 수 있으며 무료 및 데이터-불안감 으로 사용할 수 있습니다. OpenAI (A 호환 API를 사용)를 드롭 인 교체하고 텍스트 생성, 음성-텍스트와 같은 다양한 기능을 지원하며 Windows, Linux 및 MacOS에서 작동합니다.

특징

• 세션 캐싱 : :edgen은 캐싱 세션을 통해 큰 컨텍스트 (큰 채팅 이력)로 최고 성능을 유지합니다. 세션은 채팅 기록의 기능으로 자동 감지됩니다.
• GPU 지원 : Cuda, Vulkan. 금속

엔드 포인트

• [채팅] 완료
• [오디오] 전사
• [임베딩] 임베딩
• [이미지] 생성
• [채팅] 멀티 모달 채팅 완료
• [오디오] 연설

지원되는 모델

문서를 확인하십시오

지원되는 플랫폼

• 창
• 리눅스
• 마코스

뜨거운 주제

왜 현지 Genai?

• 데이터 개인 : 기기 전 추론은 사용자의 데이터가 장치를 남기지 않는다는 것을 의미합니다.

• 확장 가능 : 점점 더 많은 사용자? 클라우드 컴퓨팅 인프라를 증가시킬 필요가 없습니다. 사용자가 자신의 하드웨어를 사용하도록하십시오.

• 신뢰할 수있는 : 인터넷 없음, 가동 중지 시간, 요금 제한 없음, API 키 없음.

• 무료 : 사용자가 이미 소유 한 하드웨어에서 로컬로 실행됩니다.

QuickStart

1. 다운로드하고 시작하십시오
2. ⚡edgenchat과 채팅하십시오

자신의 Genai 응용 프로그램을 시작할 준비가 되셨습니까? 우리 가이드를 확인하십시오!

Edgen 사용 :

 Usage: edgen [<command>] [<args>]

Toplevel CLI commands and options. Subcommands are optional. If no command is provided "serve" will be invoked with default options.

Options:
  --help            display usage information

Commands:
  serve             Starts the edgen server. This is the default command when no
                    command is provided.
  config            Configuration-related subcommands.
  version           Prints the edgen version to stdout.
  oasgen            Generates the Edgen OpenAPI specification.

edgen serve 사용 :

 Usage: edgen serve [-b <uri...>] [-g]

Starts the edgen server. This is the default command when no command is provided.

Options:
  -b, --uri         if present, one or more URIs/hosts to bind the server to.
                    `unix://` (on Linux), `http://`, and `ws://` are supported.
                    For use in scripts, it is recommended to explicitly add this
                    option to make your scripts future-proof.
  -g, --nogui       if present, edgen will not start the GUI; the default
                    behavior is to start the GUI.
  --help            display usage information

GPU 지원

⚡edgen은 또한 소스에서 구축 할 때 Vulkan, Cuda 및 Metal을 통해 GPU의 편집 및 실행을 지원합니다. 다음화물 기능은 GPU를 활성화합니다.

• llama_vulkan vulkan을 사용하여 LLM 모델을 실행합니다. Vulkan SDK를 설치해야합니다.
• llama_cuda CUDA를 사용하여 LLM 모델을 실행합니다. CUDA 툴킷을 설치해야합니다.
• llama_metal 금속을 사용하여 LLM 모델을 실행합니다.
• whisper_cuda Cuda를 사용하여 Whisper 모델을 실행하십시오. CUDA 툴킷을 설치해야합니다.

현재 llama_vulkan , llama_cuda 및 llama_metal 동시에 활성화 할 수 없습니다.

예제 사용 (소스에서 구축하면 먼저 전제 조건을 설치해야 함) :

 cargo run --features llama_vulkan --release -- serve

아키텍처 개요

⚡edgen 아키텍처 개요

기여하다

어디서부터 시작 해야할지 모르면 Edgen의 로드맵을 확인하십시오! 작업을 시작하기 전에 기존 문제/풀 수감이 있는지 확인하십시오. 불화로 튀어 나와 팀에 확인하거나 누군가가 이미 다루고 있는지 확인하십시오.

통신 채널

• Edgen Discord Server : Edgen 팀 및 기타 사용자와의 실시간 토론.
• GitHub 문제 : 기능 요청, 버그.
• Github 토론 : Q & A.
• 블로그 : 큰 발표.

특별한 감사

• llama.cpp , whisper.cpp 및 ggml 공간에 대한 훌륭한 입장점이되었습니다.