IncarnaMind

？ incarnamind

？一言で言えば

incarnamindを使用すると、個人の文書とチャットできますか？ （PDF、TXT）GPT（アーキテクチャの概要）などの大規模な言語モデル（LLM）を使用しています。 Openaiは最近、GPTモデル向けに微調整APIを発売しましたが、基本前提型モデルが新しいデータを学習することはできず、応答は事実上の幻覚を起こしやすい可能性があります。スライディングウィンドウチャンキングメカニズムとアンサンブルレトリバーを使用すると、LLMSを強化するために、グラウンドトゥルースドキュメント内で細粒と粗粒の両方の情報を効率的にクエリすることができます。

自由に使用してください。フィードバックや新機能の提案を歓迎します。

新しい更新

オープンソースとローカルLLMSサポート

• 推奨モデル：主にLLAMA2シリーズモデルでテストされ、最適なパフォーマンスのためにLLAMA2-70B-chat（フルバージョンまたはGGUFバージョン）を使用することをお勧めします。他のLLMSをお気軽に実験してください。
• システム要件： GGUF量子化バージョンを実行するには、35GB以上のGPU RAMが必要です。

代替オープンソースLLMSオプション

• 不十分なRAM： GPU RAMに制限されている場合は、The Gotines.ai APIを使用することを検討してください。 llama2-70b-chatおよび他のほとんどのオープンソースLLMをサポートしています。さらに、無料の使用で25ドルを受け取ります。
• 近日公開予定：より小さく、コスト効率の高い微調整されたモデルは、将来リリースされます。

GGUFモデルの使用方法

• 量子化されたGGUF LLM（GGMLと同様）の取得と使用に関する指示については、このビデオ（10:45から12:30まで）を参照してください。

これは、私がテストしたさまざまなモデルの比較表を参照してのみです。

メトリック	GPT-4	GPT-3.5	クロード2.0	llama2-70b	llama2-70b-gguf	llama2-70b-api
推論	高い	中くらい	高い	中くらい	中くらい	中くらい
スピード	中くらい	高い	中くらい	非常に低い	低い	中くらい
GPU RAM	n/a	n/a	n/a	非常に高い	高い	n/a
安全性	低い	低い	低い	高い	高い	低い

デモ

demo.mp4

対処された課題

• 固定チャンキング：従来のRAGツールは固定チャンクサイズに依存しており、さまざまなデータの複雑さとコンテキストを処理する際の適応性を制限します。

• 精度とセマンティクス：現在の検索方法は通常、セマンティック理解または正確な検索に焦点を当てていますが、両方ともめったにありません。

• 単一ドキュメントの制限：多くのソリューションは、一度に1つのドキュメントのみをクエリすることができ、マルチドキュメント情報の取得を制限します。

• 安定性：carnamindは、Openai GPT、人類のクロード、LLAMA2、およびその他のオープンソースLLMと互換性があり、安定した解析を確保します。

重要な機能

• アダプティブチャンキング：スライディングウィンドウチャンキングテクニックは、データの複雑さとコンテキストに基づいて、微粒と粗粒のデータアクセスのバランスをとる、ラグのウィンドウサイズと位置を動的に調整します。

• マルチドキュメント会話QA ：複数のドキュメントで同時にシンプルなマルチホップクエリとマルチホップクエリをサポートし、単一ドキュメントの制限を破ります。

• ファイル互換性：PDFとTXTファイル形式の両方をサポートします。

• LLMモデルの互換性：Openai GPT、Anthropic Claude、LLAMA2およびその他のオープンソースLLMをサポートしています。

？建築

高レベルのアーキテクチャ

スライドウィンドウチャンク

はじめる

1。インストール

インストールは簡単です。コマンドをほとんど実行する必要があります。

1.0。前提条件

• 3.8≤python<3.11を使用して
• One/すべてOpenai APIキー、人類のClaude APIキー、一緒に。
• そしてもちろん、あなた自身の文書。

1.1。リポジトリをクローンします

git clone https://github.com/junruxiong/IncarnaMind
cd IncarnaMind

1.2。設定

コンドラの仮想環境を作成します：

conda create -n IncarnaMind python=3.10

活性化：

conda activate IncarnaMind

すべての要件をインストールする：

pip install -r requirements.txt

量子化されたローカルLLMを実行する場合は、llama-cppを別々にインストールします。

• NVIDIA GPUSサポートには、 cuBLASを使用してください

CMAKE_ARGS= " -DLLAMA_CUBLAS=on " FORCE_CMAKE=1 pip install llama-cpp-python==0.1.83 --no-cache-dir

• Apple Metal（ M1/M2 ）サポートの場合、使用します

CMAKE_ARGS= " -DLLAMA_METAL=on "  FORCE_CMAKE=1 pip install llama-cpp-python==0.1.83 --no-cache-dir

configparser.iniファイルで1つ/すべてのAPIキーをセットアップします。

[tokens]
OPENAI_API_KEY = (replace_me)
ANTHROPIC_API_KEY = (replace_me)
TOGETHER_API_KEY = (replace_me)
# if you use full Meta-Llama models, you may need Huggingface token to access.
HUGGINGFACE_TOKEN = (replace_me)

（オプション） configparser.iniファイルでカスタムパラメーターをセットアップします。

[parameters]
PARAMETERS 1 = (replace_me)
PARAMETERS 2 = (replace_me)
...
PARAMETERS n = (replace_me)

2。使用法

2.1。ファイルをアップロードして処理します

すべてのファイルを/データディレクトリにすべてのファイルを配置し（パフォーマンスを最大化するには、各ファイルに名前を付けてください）、次のコマンドを実行してすべてのデータを摂取します。

python docs2db.py

2.2。走る

会話を開始するには、次のようなコマンドを実行します。

python main.py

2.3。チャットして質問してください

スクリプトが以下のようにあなたの入力を要求するのを待ちます。

Human:

2.4。その他

チャットを開始すると、システムは自動的にcannamind.logファイルを生成します。ロギングを編集する場合は、 configparser.iniファイルで編集してください。

[logging]
enabled = True
level = INFO
filename = IncarnaMind.log
format = %(asctime)s [%(levelname)s] %(name)s: %(message)s

制限

• 現在のバージョンでは引用はサポートされていませんが、まもなくリリースされます。
• 限られた非同期機能。

今後の機能

• フロントエンドUIインターフェイス
• 微調整された小型サイズのオープンソースLLMS
• OCRサポート
• 非同期最適化
• より多くのドキュメント形式をサポートします

？謝辞

Langchain、Chroma DB、Localgpt、Llama-CPPに、オープンソースコミュニティへの貴重な貢献に感謝します。彼らの仕事は、cannamindプロジェクトを現実にするのに役立ちました。

？引用

私たちの作品を引用したい場合は、次のBibtexエントリを使用してください。

 @misc { IncarnaMind2023 ,
  author = { Junru Xiong } ,
  title = { IncarnaMind } ,
  year = { 2023 } ,
  publisher = { GitHub } ,
  journal = { GitHub Repository } ,
  howpublished = { url{https://github.com/junruxiong/IncarnaMind} }
}

？ライセンス

Apache 2.0ライセンス