web llm chat

webllm聊天

私人AI对话，完全浏览器。

现在聊天

webllmchat.webm

概述

WEBLLM CHAT是一个私人AI聊天接口，将Webllm与用户友好的设计结合在一起，利用WebGPU在浏览器中本地运行大型语言模型（LLMS）。享受前所未有的，私人且可访问的AI对话体验。

关键功能

• 浏览器本地AI ：通过WebGPU加速器在Web浏览器中运行的尖端语言模型，消除了对服务器端处理或云依赖性的需求。
• Ganranteed隐私：随着AI模型在您的硬件上本地运行，并且在浏览器中进行的所有数据处理，您的数据和对话永远不会离开计算机，从而确保您的隐私。
• 离线可访问性：在初始设置和下载后完全离线运行，使您可以在没有主动的Internet连接的情况下与AI驱动的对话进行互动。
• 视觉模型支持：通过上传和发送图像与AI聊天，从而轻松根据视觉内容获得见解和答案。
• 用户友好的界面：享受直观且功能丰富的用户界面，并配有Markdown支持，暗模式以及针对各种屏幕尺寸进行了优化的响应设计。
• 自定义模型：通过MLC-LLM连接到本地环境上的任何自定义语言模型。有关详细信息，请检查使用自定义模型部分。
• 开源和可自定义：使用我们的开源框架构建和自定义您自己的AI驱动应用程序。

Webllm Chat是一项开创性的计划，将Webllm的强大后端功能与NextChat的用户友好界面结合在一起。作为更广泛的MLC.AI家族的一部分，该项目通过使最终用户可以直接访问强大的工具来使我们的AI技术民主化。通过与NextChat集成，Webllm聊天不仅可以增强聊天体验，而且扩大了部署自托管和可自定义语言模型的范围。

内置模型

WEBLLM聊天本地支持WEBLLM Build-In模型。您可以在此处找到完整列表。

使用自定义模型

WEBLLM聊天通过MLC-LLM支持自定义语言模型。请按照以下步骤在本地环境上使用自定义模型：

1. （可选）通过按照说明将模型编译为MLC格式。

2. 通过按照说明，通过MLC-LLM主机REST API。

3. 转到WEBLLM聊天，在侧栏中选择“设置”，然后选择“ MLC-LLM REST API（ADVANDACT）”作为“模型类型”，然后从步骤2中输入REST API端点URL。

发展

 # 1. install nodejs and yarn first
# 2. config local env vars in `.env.local`
# 3. run
yarn install
yarn dev

部署

建造

您可以使用yarn build或使用yarn export为静态站点来构建应用程序。有关更多信息，请检查Next.js文档；

Docker

docker build -t webllm_chat .
docker run -d -p 3000:3000 webllm_chat

您可以在代理背后开始服务：

docker build -t webllm_chat .
docker run -d -p 3000:3000 
   -e PROXY_URL=http://localhost:7890 
   webllm_chat

如果您的代理需要密码，请使用：

-e PROXY_URL= " http://127.0.0.1:7890 user pass " 

社区和贡献

Webllm聊天在社区参与方面蓬勃发展。我们致力于培育一个包容性和创新的社区，开发人员和AI爱好者可以协作，贡献和推动AI技术可能的界限。加入我们的不和谐，与其他开发人员建立联系并为该项目做出贡献。

致谢

Webllm Chat是Webllm的同伴项目，它是基于NextChat的出色工作。我们对这些项目的开发人员和贡献者表示衷心的感谢，以推动基于浏览器的AI领域并创建用户友好的聊天界面。

此外，由于我们站立的开源生态系统的肩膀，该项目才有可能。我们要感谢Apache TVM社区和TVM Unity努力的开发商。开源ML社区成员公开可用这些模型。 Pytorch和拥抱的面部社区使这些模型可以访问。我们要感谢Vicuna，句子，Llama，羊驼的团队。我们还要感谢WebAssembly，Emscripten和WebGPU社区。最后，感谢Dawn和WebGPU开发人员。