LlamaChat

お気に入りのllamaモデルとチャットしてください。

---

LlamachatはMacOSアプリで、Llama、Alpaca、およびGPT4Allモデルとチャットできます。

はじめる

Llamachatには、Macos 13 Ventura、およびIntelまたはApple Siliconプロセッサが必要です。

直接ダウンロード

ここに最新バージョンを含む.dmgをダウンロードしますか？

ソースからの建物

git clone https://github.com/alexrozanski/LlamaChat.git
cd LlamaChat
open LlamaChat.xcodeproj

注： Llamachatには、llamachatが署名されていない場合、オートペンツのSparkle for AutopDatesが含まれています。 Llamachatを構築および実行するときに、有効な署名証明書を使用していることを確認してください。

注：モデルの推論はデバッグビルドで非常にゆっくりと実行されるため、ソースからビルドがLlamaChat > Edit Scheme... > RunのBuild Configuration ...>実行がReleaseように設定されていることを確認してください。

特徴

• サポートされているモデル： Llamachatは、Llama、Alpaca、Gpt4allモデルを箱から出してサポートしています。 VicunaやKoalaを含む他のモデルのサポートはまもなく登場します。また、中国のLlama/AlpacaとVigogneのサポートを追加する中国語とフランス語の話者も探しています。
• 柔軟なモデル形式： llamachatは、llama.cppとllama.swiftの上に構築されています。このアプリ.pth 、rlamaモデルの追加の追加.ggmlサポートしています。
• モデル変換： RAW PYTORCHチェックポイントが追加された場合、これらはアプリ内のllamachatおよびllama.cppと互換性のある.ggmlファイルに変換できます。
• チャット履歴：チャット履歴はアプリ内で持続します。チャット履歴とモデルコンテキストの両方をいつでもクリアできます。
• ファンキーなアバター：ラマチャットは、チャットソースで使用できる7つのファンキーなアバターと一緒に出荷されます。
• 高度なソースネーミング： Llamachatは、Special Magic™を使用して、チャットソースの遊び心のある名前を生成します。
• コンテキストのデバッグ：熱心なML愛好家の場合、現在のモデルコンテキストは、情報ポップオーバーのチャットのために表示できます。

？モデル

注： Llamachatはモデルファイルを搭載しておらず、それぞれの利用規約に従ってそれぞれのソースからこれらを取得する必要があります。

• モデル形式： Llamachatを使用すると、Rlama Family of Modelsを使用して、生のPython Checkpointフォーム（ .pth ）または事前に変換された.ggmlファイル（Llamachatを搭載しているLlama.cppが使用する形式）のいずれかを使用できます。
• ラマモデルの使用： .pth形式でllamaモデルをインポートする場合：
  • consolidated.NN.pthおよびparams.jsonファイルを含む、変換フローで適切なパラメーターサイズディレクトリ（ 7B 、 13Bなど）を選択する必要があります。
  • Llamaモデルのリリースに従って、親ディレクトリにはtokenizer.modelを含める必要があります。たとえば、LLAMA-13Bモデルを使用するには、モデルディレクトリが以下のように見える必要があります。13Bディレクトリ13B選択する必要があります。

 .
│   ...
├── 13B
│   ├── checklist.chk.txt
│   ├── consolidated.00.pth
│   ├── consolidated.01.pth
│   └── params.json
│   ...
└── tokenizer.model

• トラブルシューティング： .ggmlファイルを使用する場合、これらが最新であることを確認してください。問題が発生した場合は、llama.cppからの変換スクリプトを使用する必要がある場合があります。
  • gpt4allモデルの場合、convert-gpt4all-to-ggml.pyを使用する必要がある場合があります
  • ALPACAモデルの場合、Convert-Unversed-Ggml-to-Ggml.pyを使用する必要がある場合があります
  • また、Migrate-GGML-2023-03-30-PR613.pyを使用する必要があります。詳細については、llama.cppリポジトリをご覧ください。

？‍貢献

リクエストと問題を歓迎し、大いに感謝しています。常に行動規範を遵守してください。

Llamachatは、SwiftとSwiftuiを使用して完全に構築されており、Llama.swiftを使用して、推論を実行してモデル操作を実行します。

このプロジェクトは、主にMVVMを使用して構築されており、コンバインとスウィフトの並行性を重視しています。

⚖️ライセンス

LlamachatはMITライセンスの下でライセンスされています。