web llm chat

Webllm -Chat

Private KI-Gespräche, vollständig im Browser.

Chatten Sie jetzt

weblmchat.webm

Überblick

Webllm-Chat ist eine private AI-Chat-Oberfläche, die WebLLM mit einem benutzerfreundlichen Design kombiniert, das WebGPU nutzt, um in Ihrem Browser nativ großes Sprachmodelle (Languoring Models) auszuführen. Genießen Sie ein beispielloses, privates und zugängliches KI -Gesprächserlebnis.

Schlüsselmerkmale

• BROWSER-MI : Erleben Sie in Ihrem Webbrowser mit WebGPU-Beschleunigung nativ, und beseitigen Sie die Notwendigkeit einer serverseitigen Verarbeitung oder Cloud-Abhängigkeiten.
• Ganranteed Privacy : Wenn das KI -Modell lokal auf Ihrer Hardware ausgeführt wird und alle Datenverarbeitung in Ihrem Browser stattfinden, lassen Ihre Daten und Gespräche Ihren Computer niemals, um Ihre Privatsphäre zu gewährleisten.
• Offline-Barrierefreiheit : Nach dem ersten Setup vollständig offline ausführen und herunterladen, sodass Sie mit AI-betriebenen Gesprächen ohne aktive Internetverbindung in Kontakt treten können.
• Supply -Model -Unterstützung : Chat mit KI, indem Sie Bilder hochladen und senden, um Einblicke und Antworten basierend auf visuellen Inhalten zu erhalten.
• Benutzerfreundliche Schnittstelle : Genießen Sie die intuitive und featurereiche Benutzeroberfläche mit Markdown-Unterstützung, Dunkelmodus und einem für verschiedene Bildschirmgrößen optimierten Reaktionsdesign.
• Benutzerdefinierte Modelle : Stellen Sie eine Verbindung zu einem benutzerdefinierten Sprachmodell in Ihrer lokalen Umgebung über MLC-Llm her. Weitere Informationen finden Sie im Abschnitt Benutzerdefinierte Modelle.
• Open Source und anpassbar : Erstellen und passen Sie Ihre eigenen AI-anbetriebenen Anwendungen mit unserem Open-Source-Framework an.

Webllm Chat ist eine Pionierinitiative, die die robusten Backend-Funktionen von WebllM mit der benutzerfreundlichen Schnittstelle von Nextchat kombiniert. Als Teil der breiteren MLC.AI-Familie trägt dieses Projekt zu unserer Mission bei, die KI-Technologie zu demokratisieren, indem sie leistungsstarke Tools direkt für Endbenutzer zugänglich machen. Durch die Integration in Nextchat verbessert der Webllm-Chat nicht nur das Chat-Erlebnis, sondern erweitert auch den Umfang für die Bereitstellung von selbst gehosteten und anpassbaren Sprachmodellen.

Integrierte Modelle

Webllm-Chat unterstützt nativ Web-In-Modelle von Webllm-Build-In-Modellen. Hier finden Sie die vollständige Liste.

Verwenden Sie benutzerdefinierte Modelle

Der Webllm-Chat unterstützt benutzerdefinierte Sprachmodelle über MLC-LlM. Befolgen Sie die folgenden Schritte, um benutzerdefinierte Modelle in Ihrer lokalen Umgebung zu verwenden:

1. (Optional) Kompilieren Sie das Modell in das MLC -Format, indem Sie den Anweisungen befolgen.

2. Host-REST-API über MLC-LlM, indem sie den Anweisungen folgen.

3. Gehen Sie zu Webllm-Chat, wählen Sie "Einstellungen" in der Seitenleiste und wählen Sie "MLC-LlM REST-API (Erweitert)" als "Modelltyp" und geben Sie die REST-API-Endpunkt-URL aus Schritt 2 ein.

Entwicklung

 # 1. install nodejs and yarn first
# 2. config local env vars in `.env.local`
# 3. run
yarn install
yarn dev

Einsatz

Bauen

Sie können die Anwendung als nächstes.js -Build mit yarn build oder als statischer Site mit yarn export erstellen. Weitere Informationen finden Sie in der Dokumentation von Next.js.

Docker

docker build -t webllm_chat .
docker run -d -p 3000:3000 webllm_chat

Sie können den Service hinter einem Proxy beginnen:

docker build -t webllm_chat .
docker run -d -p 3000:3000 
   -e PROXY_URL=http://localhost:7890 
   webllm_chat

Wenn Ihr Proxy Passwort benötigt, verwenden Sie:

-e PROXY_URL= " http://127.0.0.1:7890 user pass " 

Gemeinschaft und Beiträge

Webllm -Chat lebt vom Engagement der Community. Wir setzen uns dafür ein, eine integrative und innovative Gemeinschaft zu fördern, in der Entwickler und KI -Enthusiasten zusammenarbeiten, beisteuern und die Grenzen dessen überschreiten können, was in der AI -Technologie möglich ist. Besuchen Sie uns auf Discord, um sich mit anderen Entwicklern zu verbinden und zum Projekt beizutragen.

Anerkennung

Webllm -Chat ist ein Begleitprojekt von Webllm und basiert auf der bemerkenswerten Arbeit von Nextchat. Wir danken den Entwicklern und Mitwirkenden dieser Projekte für ihre unschätzbaren Anstrengungen, um das Gebiet der browserbasierten KI zu verbessern und benutzerfreundliche Chat-Schnittstellen zu erstellen.

Darüber hinaus ist dieses Projekt dank der Schultern der Open-Source-Ökosysteme, auf denen wir stehen, nur möglich. Wir möchten der Apache TVM -Community und den Entwicklern der TVM Unity -Bemühungen danken. Die Open-Source ML Community-Mitglieder haben diese Modelle öffentlich verfügbar gemacht. Pytorch und umarmende Gesichtsgemeinschaften machen diese Modelle zugänglich. Wir möchten uns bei den Teams hinter Vicuna, Satzstück, Lama, Alpaka bedanken. Wir möchten uns auch bei den Communities WebAssembly, EmScripten und WebGPU bedanken. Dank an Dawn und WebGPU -Entwickler.