ChatLLM Web

Chatllm Web

检查AI搜索引擎https://discovai.io，发现最适合您需求的顶级AI工具

英语 /简体中文 /日本语

与llm这样的vicuna聊天，完全，私人且没有服务器，完全在浏览器中与WebGPU聊天。由Web-llm提供支持。

现在尝试

特征

• ？一切都在浏览器内部运行，没有服务器支持，并且使用WebGPU加速。

• 模型在Web工作人员中运行，确保它不会阻止用户界面并提供无缝体验。

• 在不到1分钟的情况下，通过一键在Vercel上易于部署，然后您可以获得自己的Chatllm Web。

• ？支持模型缓存，因此您只需要下载一次模型即可。

• 多转换聊天，所有数据本地存储在浏览器中以寻求隐私。

• 降价和流响应支持：数学，代码突出显示等。

• ？响应迅速且设计良好的UI，包括黑模式。

• PWA支持，下载并完全离线运行。

指示

• 要使用此应用程序，您需要一个支持WebGPU的浏览器，例如Chrome 113或Chrome Canary。不支持Chrome版本≤112。

• 您将需要一个大约6.4GB内存的GPU。如果您的GPU的内存较少，则该应用程序仍将运行，但是响应时间会较慢。

• ？第一次使用该应用程序时，您需要下载该模型。对于我们当前正在使用的Vicuna-7b型号，下载尺寸约为4GB。初始下载后，该模型将从浏览器缓存中加载，以更快地使用。

• 有关更多详细信息，请访问mlc.ai/web-llm

路线图

• [✅] LLM：使用Web Worker创建LLM实例并生成答案。

• [✅]对话：可用多转换支持。

• [✅] PWA

• [] 设置：

  • UI：黑暗/光主题
  • 设备：
    • GPU设备选择
    • 缓存使用和管理
  • 模型：
    • 支持多模型：Vicuna-7b✅redpajama-incite-chat-3b []
    • 参数配置：温度，最大长度等。
    • 导出模型

部署到Vercel

1. 单击，按照说明进行操作，并在仅1分钟内完成。
2. 好好享受 ？

发展

git clone https://github.com/Ryan-yang125/ChatLLM-Web.git
cd ChatLLM-Web
npm i
npm run dev

屏幕截图

？历史

执照

麻省理工学院