web llm chat

webllm聊天

私人AI對話，完全瀏覽器。

現在聊天

webllmchat.webm

概述

WEBLLM CHAT是一個私人AI聊天接口，將Webllm與用戶友好的設計結合在一起，利用WebGPU在瀏覽器中本地運行大型語言模型（LLMS）。享受前所未有的，私人且可訪問的AI對話體驗。

關鍵功能

• 瀏覽器本地AI ：通過WebGPU加速器在Web瀏覽器中運行的尖端語言模型，消除了對服務器端處理或云依賴性的需求。
• Ganranteed隱私：隨著AI模型在您的硬件上本地運行，並且在瀏覽器中進行的所有數據處理，您的數據和對話永遠不會離開計算機，從而確保您的隱私。
• 離線可訪問性：在初始設置和下載後完全離線運行，使您可以在沒有主動的Internet連接的情況下與AI驅動的對話進行互動。
• 視覺模型支持：通過上傳和發送圖像與AI聊天，從而輕鬆根據視覺內容獲得見解和答案。
• 用戶友好的界面：享受直觀且功能豐富的用戶界面，並配有Markdown支持，暗模式以及針對各種屏幕尺寸進行了優化的響應設計。
• 自定義模型：通過MLC-LLM連接到本地環境上的任何自定義語言模型。有關詳細信息，請檢查使用自定義模型部分。
• 開源和可自定義：使用我們的開源框架構建和自定義您自己的AI驅動應用程序。

Webllm Chat是一項開創性的計劃，將Webllm的強大後端功能與NextChat的用戶友好界面結合在一起。作為更廣泛的MLC.AI家族的一部分，該項目通過使最終用戶可以直接訪問強大的工具來使我們的AI技術民主化。通過與NextChat集成，Webllm聊天不僅可以增強聊天體驗，而且擴大了部署自託管和可自定義語言模型的範圍。

內置模型

WEBLLM聊天本地支持WEBLLM Build-In模型。您可以在此處找到完整列表。

使用自定義模型

WEBLLM聊天通過MLC-LLM支持自定義語言模型。請按照以下步驟在本地環境上使用自定義模型：

1. （可選）通過按照說明將模型編譯為MLC格式。

2. 通過按照說明，通過MLC-LLM主機REST API。

3. 轉到WEBLLM聊天，在側欄中選擇“設置”，然後選擇“ MLC-LLM REST API（ADVANDACT）”作為“模型類型”，然後從步驟2中輸入REST API端點URL。

發展

 # 1. install nodejs and yarn first
# 2. config local env vars in `.env.local`
# 3. run
yarn install
yarn dev

部署

建造

您可以使用yarn build或使用yarn export為靜態站點來構建應用程序。有關更多信息，請檢查Next.js文檔；

Docker

docker build -t webllm_chat .
docker run -d -p 3000:3000 webllm_chat

您可以在代理背後開始服務：

docker build -t webllm_chat .
docker run -d -p 3000:3000 
   -e PROXY_URL=http://localhost:7890 
   webllm_chat

如果您的代理需要密碼，請使用：

-e PROXY_URL= " http://127.0.0.1:7890 user pass " 

社區和貢獻

Webllm聊天在社區參與方面蓬勃發展。我們致力於培育一個包容性和創新的社區，開發人員和AI愛好者可以協作，貢獻和推動AI技術可能的界限。加入我們的不和諧，與其他開發人員建立聯繫並為該項目做出貢獻。

致謝

Webllm Chat是Webllm的同伴項目，它是基於NextChat的出色工作。我們對這些項目的開發人員和貢獻者表示衷心的感謝，以推動基於瀏覽器的AI領域並創建用戶友好的聊天界面。

此外，由於我們站立的開源生態系統的肩膀，該項目才有可能。我們要感謝Apache TVM社區和TVM Unity努力的開發商。開源ML社區成員公開可用這些模型。 Pytorch和擁抱的面部社區使這些模型可以訪問。我們要感謝Vicuna，句子，Llama，羊駝的團隊。我們還要感謝WebAssembly，Emscripten和WebGPU社區。最後，感謝Dawn和WebGPU開發人員。