chatty

健谈

Chatty是您的私人AI，它利用WebGPU在浏览器中本地和私人地运行大型语言模型（LLMS），为您带来最丰富的浏览器AI体验。

特征

• 内浏览器隐私：所有AI模型在您的硬件上在本地运行（客户端），以确保您的数据仅在PC上处理。没有服务器端处理！
• 离线：一旦处理了模型的初始下载，您就可以在无效的Internet连接的情况下使用它。
• 聊天历史记录：访问和管理您的对话历史记录。
• 支持新的开源模型：与流行的开源模型聊天，例如Gemma，Llama2＆3和Mismtral！
• 响应设计：如果您的手机支持WebGL，则可以像在桌面上一样使用Chatty。
• 直观的UI：灵感来自受欢迎的AI接口（例如Gemini和Chatgpt），以增强用户体验的相似性。
• MARKDOWN和代码突出显示：将显示为Markdown返回的消息将以此类形式显示，其中包含代码的消息将被突出显示，以便于访问。
• 与文件聊天：加载文件（PDF和所有不支持的非二进制文件 - 甚至代码文件），并询问有关它们的模型问题 - 完全本地！多亏了Xenovatransformerembeddings和MemoryVectorStore，您的文档永远不会在本地环境之外进行处理
• 自定义内存支持：添加自定义说明/内存以允许AI提供更好，更个性化的响应。
• 导出聊天消息：以JSON或MARKDOWN格式无缝生成并保存您的聊天消息。
• 语音输入支持：使用语音交互与模型进行交互。
• 再生反应：不是您想要的回应吗？快速再生它，而无需再次写出您的提示。
• 光与黑暗模式：在光与暗模式之间切换。

预览

chatty-vid-preview.mp4

为什么？

该项目旨在将最接近的尝试从Chatgpt和Gemini等流行的AI接口将著名性和功能带入浏览器体验。

浏览器支持

默认情况下，在Chrome和Edge中启用和支持WebGPU。但是，可以在每晚使用Firefox和Firefox中启用它。检查浏览器兼容性以获取更多信息。

如何安装

如果您只想尝试该应用程序，则可以在此网站上进行直播。

这是一个spect.js应用程序，需要安装node.js（18+）和NPM以本地运行该项目。

从源安装

如果您想在本地设置和运行该项目，请按照以下步骤操作：

1。通过命令提示符将存储库克隆到PC上的目录：

 git clone https://github.com/addyosmani/chatty

2。打开文件夹：

 cd chatty

3。安装依赖项：

 npm install

4。启动开发服务器：

 npm run dev

5。转到Localhost：3000，开始聊天！

Docker

笔记

Dockerfile尚未针对生产环境进行优化。如果您想自己这样做，请结帐示例

 docker build -t chattyui .
docker run -d -p 3000:3000 chattyui

或使用docker-compose ：

 docker compose up

如果您进行了更改并想重建，则可以简单地运行docker-compose up --build

路线图

• 多个文件嵌入：每个会话一次嵌入多个文件而不是一个文件的能力。
• 提示管理系统：选择并添加不同的系统提示，以快速在会话中使用。

贡献

贡献非常欢迎！但是，请确保首先阅读贡献指南:)

硬件要求

笔记

为了有效地运行模型，您需要一个具有足够内存的GPU。 7B型号需要大约6GB内存的GPU，而3B型号则需要大约3GB。

较小的型号可能无法处理像较大型号一样有效的文件嵌入。

致谢和学分

Chatty是使用Webllm项目建造的，该项目使用HuggingFace，开源LLM和Langchain建立。我们要承认他们的出色工作，并感谢开源社区。

作者

Chatty由Addy Osmani＆JakobHoegMørk创建和维护。