chatty

Gesprächig

Chaty ist Ihre private KI, die WebGPU nutzt, um große Sprachmodelle (LLMs) nativ und privat in Ihrem Browser auszuführen und Ihnen die meiste Feature Rich In-Browser-KI-Erfahrung zu bieten.

Merkmale

• Privatsphäre in Browser: Alle KI-Modelle werden lokal (Client-Seite) auf Ihrer Hardware ausgeführt und stellen sicher, dass Ihre Daten nur auf Ihrem PC verarbeitet werden. Keine serverseitige Verarbeitung!
• Offline: Sobald der erste Download eines Modells verarbeitet wurde, können Sie es ohne aktive Internetverbindung verwenden.
• Chat -Historie: Greifen Sie auf Ihren Gesprächsverlauf zu und verwalten Sie ihn.
• Unterstützt neue Open-Source-Modelle: Chat mit beliebten Open-Source-Modellen wie Gemma, Lama2 & 3 und Mistral!
• Responsive Design: Wenn Ihr Telefon WebGL unterstützt, können Sie Chaty genauso wie auf dem Desktop verwenden.
• Intuitive UI: Inspiriert von beliebten KI -Schnittstellen wie Gemini und Chatgpt, um die Ähnlichkeit in der Benutzererfahrung zu verbessern.
• Markdown & Code Highlight: Meldungen, die als Markdown zurückgegeben werden, werden als solche und Nachrichten mit Code angezeigt und werden für einen einfachen Zugriff hervorgehoben.
• Chatten Sie mit Dateien: Laden Sie Dateien (PDF und alle nicht -binären unterstützten Dateien - sogar Codedateien) und stellen Sie die Modelle Fragen dazu - vollständig lokal! Ihre Dokumente werden dank XenovatransformerEmbeddings & majorVectorStore nie außerhalb Ihrer lokalen Umgebung verarbeitet
• Benutzerdefinierte Speicherunterstützung: Fügen Sie benutzerdefinierte Anweisungen/Speicher hinzu, damit die KI bessere und personalisiertere Antworten liefert.
• Chat -Nachrichten exportieren: generieren und speichern Ihre Chat -Nachrichten nahtlos im JSON- oder Markdown -Format.
• Spracheingangsunterstützung: Verwenden Sie Sprachinteraktionen, um mit den Modellen zu interagieren.
• Regenerate Antworten: Nicht ganz die Antwort, auf die Sie gehofft haben? Nehmen Sie es schnell neu, ohne Ihre Eingabeaufforderung erneut ausschreiben zu müssen.
• Hell & dunkler Modus: Wechseln Sie zwischen hellem und dunklem Modus.

Vorschau

Chatty-vid-Preview.mp4

Warum?

Dieses Projekt soll der engste Versuch sein, die Freiheit und Funktionalität von populären KI-Schnittstellen wie Chatgpt und Gemini in ein In-Browser-Erlebnis zu bringen.

Browserunterstützung

Standardmäßig ist WebGPU sowohl in Chrome als auch in Edge aktiviert und unterstützt. Es ist jedoch möglich, es Nacht in Firefox und Firefox zu aktivieren. Weitere Informationen finden Sie in der Browserkompatibilität.

So installieren

Wenn Sie nur die App ausprobieren möchten, ist sie auf dieser Website live.

Dies ist eine Next.js -Anwendung und erfordert Node.js (18+) und NPM, um das Projekt lokal auszuführen.

Aus der Quelle installieren

Wenn Sie das Projekt lokal einrichten und ausführen möchten, befolgen Sie die folgenden Schritte:

1. Klonen Sie das Repository über die Eingabeaufforderung in ein Verzeichnis auf Ihrem PC:

 git clone https://github.com/addyosmani/chatty

2. Öffnen Sie den Ordner:

 cd chatty

3. Installieren Sie Abhängigkeiten:

 npm install

4. Starten Sie den Entwicklungsserver:

 npm run dev

5. Gehen Sie zu Localhost: 3000 und beginnen Sie mit dem Chatten!

Docker

Notiz

Die Dockerfile wurde noch nicht für eine Produktionsumgebung optimiert. Wenn Sie dies selbst tun möchten, sehen Sie sich das nächste Js -Beispiel an

 docker build -t chattyui .
docker run -d -p 3000:3000 chattyui

Oder verwenden Sie docker-compose :

 docker compose up

Wenn Sie Änderungen vorgenommen haben und wieder aufbauen möchten, können Sie einfach docker-compose up --build ausführen

Roadmap

• Mehrere Dateieinbettungen: Die Fähigkeit, für jede Sitzung mehrere Dateien anstelle einer gleichzeitig einzubetten.
• Eingabeaufforderungsverwaltungssystem: Wählen Sie verschiedene Systemaufforderungen aus und fügen Sie dies hinzu, um sie in einer Sitzung schnell zu verwenden.

Beitragen

Beiträge sind mehr als willkommen! Bitte lesen Sie jedoch zuerst die beitragenden Richtlinien :)

Hardwareanforderungen

Notiz

Um die Modelle effizient auszuführen, benötigen Sie eine GPU mit genügend Speicher. 7B -Modelle erfordern eine GPU mit etwa 6 GB Speicher, während 3B -Modelle etwa 3 GB benötigen.

Kleinere Modelle sind möglicherweise nicht in der Lage, Dateieinbettungen so effizient zu verarbeiten wie größere.

Anerkennung und Credits

Chatty wird mit dem Webllm -Projekt erstellt, wobei Huggingface, Open Source LLMS und Langchain verwendet werden. Wir möchten ihre großartige Arbeit anerkennen und der Open -Source -Community danken.

Autoren

Chatty wird von Addy Osmani & Jakob Hoeg Mørk erstellt und gepflegt.