VectorDB Plugin for KoboldAI

koboldcppベクトルデータベース

• 時間の制約とテスト能力のため、 Nvidia GPUを使用してWindowsシステムでのみサポートされています。

要件

1. ？python 3.11（pytorchはまだpython 3.12と互換性がありません）

2. ？git

3. ？git大きなファイルストレージ。

4. パンドク。

5. CUDAは技術的には「必須」ですが、インストールスクリプトは自動的にインストールします。システム全体にインストールする必要はありません。

6. ツールを構築します。

   特定の依存関係には事前にコンパイルされた「ホイール」がないため、MicrosoftビルドツールやVisual Studioなどで構築する必要があります。 Visual Studioをお勧めしますが、必ず「C ++を使用したデスクトップ開発」拡張機能を選択し、「SDK」を含む右側の4つのボックスを確認してください。

   Windowsのエラーの例

   
   Windowsのソリューションの例

   

インストール

ステップ1

最新の「リリース」をダウンロードして、内容を抽出し、「SRC」フォルダーに移動して、以下のコマンドを実行します。

• 注：このリポジトリをクローンすると、最新リリースは取得されません。代わりに、このプログラムの開発バージョンは、安定している場合とそうでない場合があります。

ステップ2

srcフォルダーに移動し、コマンドプロンプトを開き、仮想環境を作成します。

 python -m venv .

ステップ3

仮想環境を有効にします：

 .Scriptsactivate

ステップ4

セットアップの実行：

 python setup_windows.py

何らかの理由で再インストールする必要がある場合、このコマンドを実行してすべてをアンインストールして再試行して再試行してください： pip freeze > requirements_uninstall.txt && pip uninstall -r requirements_uninstall.txt -y && del requirements_uninstall.txt

ステップ5

 python gui.py

使用法

Koboldを開始します

• Koboldcppのgithubに移動し、適切な.exeファイルをダウンロードするか、仮想環境からpython download_kobold.pyを実行します。
• 必要な/すべてのオプションを選択してプログラムを開始しますが、オープンブラウザオプションを確認してチェックしてください。また、「静かな」モードを確認することもできます。これにより、Koboldのコマンドプロンプトウィンドウがすべてを複製しないようにします。