chatty

健談

Chatty是您的私人AI，它利用WebGPU在瀏覽器中本地和私人地運行大型語言模型（LLMS），為您帶來最豐富的瀏覽器AI體驗。

特徵

• 內瀏覽器隱私：所有AI模型在您的硬件上在本地運行（客戶端），以確保您的數據僅在PC上處理。沒有服務器端處理！
• 離線：一旦處理了模型的初始下載，您就可以在無效的Internet連接的情況下使用它。
• 聊天歷史記錄：訪問和管理您的對話歷史記錄。
• 支持新的開源模型：與流行的開源模型聊天，例如Gemma，Llama2＆3和Mismtral！
• 響應設計：如果您的手機支持WebGL，則可以像在桌面上一樣使用Chatty。
• 直觀的UI：靈感來自受歡迎的AI接口（例如Gemini和Chatgpt），以增強用戶體驗的相似性。
• MARKDOWN和代碼突出顯示：將顯示為Markdown返回的消息將以此類形式顯示，其中包含代碼的消息將被突出顯示，以便於訪問。
• 與文件聊天：加載文件（PDF和所有不支持的非二進製文件 - 甚至代碼文件），並詢問有關它們的模型問題 - 完全本地！多虧了Xenovatransformerembeddings和MemoryVectorStore，您的文檔永遠不會在本地環境之外進行處理
• 自定義內存支持：添加自定義說明/內存以允許AI提供更好，更個性化的響應。
• 導出聊天消息：以JSON或MARKDOWN格式無縫生成並保存您的聊天消息。
• 語音輸入支持：使用語音交互與模型進行交互。
• 再生反應：不是您想要的回應嗎？快速再生它，而無需再次寫出您的提示。
• 光與黑暗模式：在光與暗模式之間切換。

預覽

chatty-vid-preview.mp4

為什麼？

該項目旨在將最接近的嘗試從Chatgpt和Gemini等流行的AI接口將著名性和功能帶入瀏覽器體驗。

瀏覽器支持

默認情況下，在Chrome和Edge中啟用和支持WebGPU。但是，可以在每晚使用Firefox和Firefox中啟用它。檢查瀏覽器兼容性以獲取更多信息。

如何安裝

如果您只想嘗試該應用程序，則可以在此網站上進行直播。

這是一個spect.js應用程序，需要安裝node.js（18+）和NPM以本地運行該項目。

從源安裝

如果您想在本地設置和運行該項目，請按照以下步驟操作：

1。通過命令提示符將存儲庫克隆到PC上的目錄：

 git clone https://github.com/addyosmani/chatty

2。打開文件夾：

 cd chatty

3。安裝依賴項：

 npm install

4。啟動開發服務器：

 npm run dev

5。轉到Localhost：3000，開始聊天！

Docker

筆記

Dockerfile尚未針對生產環境進行優化。如果您想自己這樣做，請結帳示例

 docker build -t chattyui .
docker run -d -p 3000:3000 chattyui

或使用docker-compose ：

 docker compose up

如果您進行了更改並想重建，則可以簡單地運行docker-compose up --build

路線圖

• 多個文件嵌入：每個會話一次嵌入多個文件而不是一個文件的能力。
• 提示管理系統：選擇並添加不同的系統提示，以快速在會話中使用。

貢獻

貢獻非常歡迎！但是，請確保首先閱讀貢獻指南:)

硬件要求

筆記

為了有效地運行模型，您需要一個具有足夠內存的GPU。 7B型號需要大約6GB內存的GPU，而3B型號則需要大約3GB。

較小的型號可能無法處理像較大型號一樣有效的文件嵌入。

致謝和學分

Chatty是使用Webllm項目建造的，該項目使用HuggingFace，開源LLM和Langchain建立。我們要承認他們的出色工作，並感謝開源社區。

作者

Chatty由Addy Osmani＆JakobHoegMørk創建和維護。