web llm chat

Webllm 채팅

개인 AI 대화, 완전히 브라우저.

지금 채팅

Webllmchat.webm

개요

WebLlm Chat은 웹 그너를 사용자 친화적 인 디자인과 결합하여 WebGPU를 활용하여 브라우저에서 기본적으로 실행하는 개인 AI 채팅 인터페이스입니다. 전례없는 개인적이며 접근 가능한 AI 대화 경험을 즐기십시오.

주요 기능

• 브라우저 네이티브 AI : WebGPU 가속을 사용하여 웹 브라우저 내에서 기본적으로 실행되는 최첨단 언어 모델을 경험하여 서버 측 처리 또는 클라우드 종속성이 필요하지 않습니다.
• Ganranteed Privacy : AI 모델이 하드웨어에서 로컬로 실행되고 브라우저 내에서 모든 데이터 처리가 발생하면 데이터 및 대화가 컴퓨터를 떠나지 않아 개인 정보를 보장하지 않습니다.
• 오프라인 접근성 : 초기 설정 및 다운로드 후 완전히 오프라인으로 실행하여 인터넷 연결없이 AI 기반 대화에 참여할 수 있습니다.
• 비전 모델 지원 : 이미지를 업로드하고 전송하여 AI와 채팅하여 시각적 컨텐츠를 기반으로 통찰력과 답변을 쉽게 얻을 수 있습니다.
• 사용자 친화적 인 인터페이스 : 직관적이고 기능이 풍부한 사용자 인터페이스를 즐기며 Markdown 지원, Dark Mode 및 다양한 화면 크기에 최적화 된 반응 형 디자인으로 완성됩니다.
• 맞춤형 모델 : MLC-LLM을 통해 현지 환경의 모든 사용자 정의 언어 모델에 연결하십시오. 자세한 내용은 사용자 정의 모델 섹션을 확인하십시오.
• 오픈 소스 및 사용자 정의 가능 : 오픈 소스 프레임 워크를 사용하여 고유 한 AI 기반 애플리케이션을 빌드 및 사용자 정의하십시오.

WebLlm Chat은 WebLlm의 강력한 백엔드 기능과 NextChat의 사용자 친화적 인 인터페이스를 결합한 선구적인 이니셔티브입니다. 광범위한 MLC.AI 가족의 일환 으로이 프로젝트는 최종 사용자가 직접 액세스 할 수 있도록 AI 기술을 민주화하는 우리의 사명에 기여합니다. NextChat과 통합함으로써 WebLlm 채팅은 채팅 경험을 향상시킬뿐만 아니라 자체 호스팅 및 사용자 정의 가능한 언어 모델의 배포 범위를 확대합니다.

내장 모델

Webllm Chat은 기본적으로 웹 빌드 인 모델을 지원합니다. 여기에서 전체 목록을 찾을 수 있습니다.

맞춤형 모델을 사용하십시오

Webllm 채팅은 MLC-LLM을 통해 맞춤형 언어 모델을 지원합니다. 지역 환경에서 사용자 정의 모델을 사용하려면 다음 단계에 따라 다음과 같습니다.

1. (선택 사항) 지침에 따라 모델을 MLC 형식으로 컴파일합니다.

2. 지침에 따라 MLC-LLM을 통해 API를 호스트합니다.

3. WebLlm 채팅으로 이동하여 사이드 바에서 "설정"을 선택한 다음 "MLC-LLM REST API (Advanced)"로 "모델 유형"으로 선택하고 2 단계에서 나머지 API 엔드 포인트 URL을 입력하십시오.

개발

 # 1. install nodejs and yarn first
# 2. config local env vars in `.env.local`
# 3. run
yarn install
yarn dev

전개

짓다

yarn build 또는 yarn export 를 사용한 정적 사이트로서 다음에 응용 프로그램을 빌드 할 수 있습니다. 자세한 내용은 다음 .js 문서를 확인하십시오.

도커

docker build -t webllm_chat .
docker run -d -p 3000:3000 webllm_chat

프록시 뒤에서 서비스를 시작할 수 있습니다.

docker build -t webllm_chat .
docker run -d -p 3000:3000 
   -e PROXY_URL=http://localhost:7890 
   webllm_chat

프록시가 비밀번호가 필요한 경우 사용하십시오.

-e PROXY_URL= " http://127.0.0.1:7890 user pass " 

커뮤니티 및 기여

Webllm 채팅은 커뮤니티 참여에 대해 번성합니다. 우리는 개발자와 AI 애호가가 AI 기술에서 가능한 것의 경계를 협력하고, 기여하며, 밀어 붙일 수있는 포용적이고 혁신적인 커뮤니티를 육성하기 위해 노력하고 있습니다. Discord에 참여하여 동료 개발자와 연결하고 프로젝트에 기여하십시오.

감사의 말

Webllm Chat은 Webllm의 동반자 프로젝트이며 NextChat의 놀라운 작품을 기반으로합니다. 우리는 브라우저 기반 AI 분야를 발전시키고 사용자 친화적 인 채팅 인터페이스를 만들기위한 귀중한 노력으로 이러한 프로젝트의 개발자와 기고자에게 진심으로 감사를 표합니다.

더욱이이 프로젝트는 우리가 서있는 오픈 소스 생태계의 어깨 덕분에 가능합니다. 우리는 TVM Unity 노력의 Apache TVM 커뮤니티와 개발자에게 감사하고 싶습니다. 오픈 소스 ML 커뮤니티 회원은 이러한 모델을 공개적으로 제공했습니다. Pytorch와 Hugging Face 커뮤니티는 이러한 모델에 접근 할 수있게합니다. 우리는 Vicuna, Sentencepiece, Llama, Alpaca의 팀에 감사하고 싶습니다. 또한 WebAssembly, Emscripten 및 WebGPU 커뮤니티에 감사의 말씀을 전합니다. 마지막으로 Dawn과 WebGPU 개발자 덕분에.