web llm chat

webllmチャット

プライベートAI会話、完全にブラウザー。

今すぐチャットしてください

webllmchat.webm

概要

Webllm Chatは、Webllmとユーザーフレンドリーなデザインを組み合わせたプライベートAIチャットインターフェイスであり、WebGPUを活用してブラウザで大規模な言語モデル（LLMS）をネイティブに実行します。前例のない、プライベートで、アクセス可能なAIの会話体験をお楽しみください。

重要な機能

• Browser-Native AI ：WebGPUアクセラレーションを備えたWebブラウザー内でネイティブに実行される最先端の言語モデルを体験して、サーバー側の処理またはクラウド依存関係の必要性を排除します。
• Ganranteedプライバシー：AIモデルがハードウェアで局所的に実行され、すべてのデータ処理がブラウザ内で行われているため、データと会話はコンピューターを離れることはなく、プライバシーを確​​保します。
• オフラインアクセシビリティ：最初のセットアップとダウンロード後に完全にオフラインで実行され、アクティブなインターネット接続なしでAIを搭載した会話に参加できます。
• ビジョンモデルのサポート：画像をアップロードおよび送信することにより、AIとチャットして、視覚コンテンツに基づいて洞察と回答を簡単に入手できます。
• ユーザーフレンドリーインターフェイス：マークダウンサポート、ダークモード、さまざまな画面サイズに最適化されたレスポンシブデザインを備えた直感的で機能が豊富なユーザーインターフェイスをお楽しみください。
• カスタムモデル：MLC-LLMを介してローカル環境の任意のカスタム言語モデルに接続します。詳細については、使用カスタムモデルの使用セクションを確認してください。
• オープンソースとカスタマイズ可能：オープンソースフレームワークを使用して、独自のAI搭載アプリケーションを構築およびカスタマイズします。

Webllm Chatは、Webllmの堅牢なバックエンド機能とnextchatのユーザーフレンドリーなインターフェイスを組み合わせた先駆的なイニシアチブです。より広範なMLC.AIファミリーの一部として、このプロジェクトは、エンドユーザーに直接アクセスできるようにすることにより、AIテクノロジーを民主化するという当社の使命に貢献しています。 NextChatと統合することにより、Webllm Chatはチャットエクスペリエンスを向上させるだけでなく、自己ホストおよびカスタマイズ可能な言語モデルの展開の範囲を広げます。

組み込みモデル

Webllm Chatは、Webllmビルドインモデルをネイティブにサポートしています。ここで完全なリストを見つけることができます。

カスタムモデルを使用します

Webllm Chatは、MLC-LLMを介してカスタム言語モデルをサポートしています。次の手順に従って、ローカル環境でカスタムモデルを使用します。

1. （オプション）指示に従ってモデルをMLC形式にコンパイルします。

2. 指示に従ってMLC-LLMを介してREST APIをホストします。

3. webllmチャットに移動し、サイドバーで「設定」を選択し、「モデルタイプ」として「MLC-LRM REST API（Advanced）」を選択し、ステップ2からREST APIエンドポイントURLを入力します。

発達

 # 1. install nodejs and yarn first
# 2. config local env vars in `.env.local`
# 3. run
yarn install
yarn dev

展開

建てる

yarn buildを使用して、またはyarn exportを使用した静的サイトとして、next.jsビルドとしてアプリケーションを構築できます。詳細については、next.jsドキュメントを確認してください。

Docker

docker build -t webllm_chat .
docker run -d -p 3000:3000 webllm_chat

プロキシの背後にサービスを開始できます。

docker build -t webllm_chat .
docker run -d -p 3000:3000 
   -e PROXY_URL=http://localhost:7890 
   webllm_chat

プロキシがパスワードが必要な場合は、以下を使用してください。

-e PROXY_URL= " http://127.0.0.1:7890 user pass " 

コミュニティと貢献

Webllmチャットは、コミュニティの関与で繁栄しています。私たちは、開発者とAI愛好家がAIテクノロジーで可能なことの境界を協力し、貢献し、プッシュできる包括的で革新的なコミュニティを育成することを約束しています。 Discordに参加して、仲間の開発者とつながり、プロジェクトに貢献してください。

謝辞

Webllm ChatはWebllmのコンパニオンプロジェクトであり、Nextchatの驚くべき作品に基づいて構築されています。ブラウザベースのAIの分野を進め、ユーザーフレンドリーなチャットインターフェイスを作成するための非常に貴重な取り組みに、これらのプロジェクトの開発者と貢献者に心から感謝します。

さらに、このプロジェクトは、私たちが立っているオープンソースのエコシステムの肩のおかげでのみ可能です。 Apache TVMコミュニティとTVM Unityの取り組みの開発者に感謝したいと思います。オープンソースMLコミュニティメンバーは、これらのモデルを公開しました。 PytorchとHugging Face Communityは、これらのモデルにアクセスできます。 Alpaca、Llama、Llama、Vicunaの背後にあるチームに感謝します。また、WebAssembly、Emscripten、およびWebGPUコミュニティにも感謝します。最後に、DawnとWebGPUの開発者に感謝します。