LLM_File_ParserダウンロードLLM_File_Parserソースコードダウンロード

LLM_File_Parser

その他のソースコード

1.0.0

ダウンロード

LLMファイルパーサー

Libraryofcelsus.comによるLLMファイルパーサーのバージョン0.02

インストールガイド
Changelogにスキップします
Discordサーバー

最近の変更

•07/17知識ドメインを別のインデックスとして追加したため、既存のドメインをベクターで検索できます。

•07/12最初のリリース

このプロジェクトは何ですか？

このプロジェクトは、私の大規模なAetheriusプロジェクトの一部であり、構造化されたデータベースとデータセットに非構造化データを変換するプロセスを合理化するように設計されています。このプログラムはAutomlに分類され、さまざまなLLMテクニックを使用して、非構造化ドキュメントをスキャン、チャンク、要約し、ユーザー入力を最小限に抑えて構造化データに変換します。

現在のサポートされているファイルタイプ：.epub、.pdf、.txt、.png、.jpg、.jpeg、.mp4、.mkv、.flv、および.av

この形式を使用してチャットボット：

https://github.com/libraryofcelsus/hierarchical_rag_chatbot

このプロジェクトは、https：//github.com/libraryofcelsus/advanced_rag_chatbotのドキュメントアップローダーとして機能します

メインAIアシスタントGithub：https：//github.com/libraryofcelsus/aetherius_aisistant

私のAIの仕事は私の仕事によって自己資金を提供しています。あなたが私の仕事に感謝しているなら、私をサポートすることを検討してください。

助けを求めて不一致に参加するか、より詳細な情報を取得してください！

Discord Server：https：//discord.gg/pb5zcna7ze

ビデオチュートリアルについては、YouTubeを購読してください：https：//www.youtube.com/@libraryofcelsus（まだ起動していないチャネル）

コードチュートリアルはhttps：//www.libraryofcelsus.com/research/public/code-tutorials/で入手可能です

製造：https：//github.com/libraryofcelsus

changelog：

0.02

•既存のドメインをベクトルで検索できるように、知識ドメインを個別のインデックスとして追加しました。

0.01

•最初のリリース

インストールガイド

インストーラーバット

<>コードドロップダウンメニューを押して、プロジェクトzipフォルダーをダウンロードします。

1. Python 3.10.6をインストールして、パスに追加してください： https：//www.python.org/downloads/Release/python-3106/

2。「install_requirements.bat」を実行して、必要な依存関係をインストールします。 BATは、Git、Poppler、Tesseract、FFMPEG、および必要なPython依存関係を取り付けます。

（要件のインストール時にエラーが発生した場合： python -m pipキャッシュパージ）

3. QDRANTまたはMARQO DBをセットアップします。 DBを使用するものを変更するには、./settings.jsonの「vector_db」キーを編集します。 QDRANTはデフォルトです。

QDRANTドキュメント：https：//qdrant.tech/documentation/guides/installation/

Marqo Docs：https：//docs.marqo.ai/2.9/

ローカルQDRANTサーバーを使用するには、最初にDocker：https：//www.docker.comをインストールします。
次のタイプ： Docker Pull Qdrant/QDrant：V1.9.1コマンドプロンプト。
ダウンロードが終了したら、 Docker run -P 6333：6333 QDRANT/QDRANT：V1.9.1と入力

ローカルMarqoサーバーを使用するには、最初にDocker：https：//www.docker.comをインストールします。
次のタイプ： Docker Pull Marqoai/Marqo：コマンドプロンプトの最新。
ダウンロードが完了したら、 Docker run -Name Marqo -Gpus All -P 8882：8882 Marqoai/Marqo：最新のタイプ

（エラーが発生した場合は、Dockerコンテナタブを新しいコンテナを確認し、[スタート]ボタンを押します。開始に失敗する場合があります。）

参照：https：//docs.docker.com/desktop/backup-and-restore/バックアップの作成方法については。

ローカルベクトルDBサーバーが実行されたら、スクリプトによって自動検出する必要があります。

6.目的のAPIをインストールします。（OpenAIを使用する場合は必要ありません）APIの使用を変更するには、./settings.jsonで「API」キーを編集します
https://github.com/oobabooga/text-generation-webui
https://github.com/lostruins/koboldcpp

8。実行の1つでスクリプトを起動します_*。バット

9. [設定]タブ内の情報を設定に変更します。

10 。./uploadsディレクトリの対応するフォルダーにファイルを配置します。アップロードフォルダーは、最初にファイル処理スクリプトを実行するときに作成されます。

ささやきをCudaで作業させるには、コマンドを実行する必要がある場合があります。
。 venv scripts activate
ピップアンインストールTorch Torchaudio
PIPインストールTorch TorchVision Torchaudio -F https：//download.pytorch.org/whl/cu118/torch_stable.html

データがベクトルDBにアップロードされる形式を変更する場合、アップロードスクリプトは./Resources/DB_UPLOADにあります