LLM_File_Parser下載LLM_File_Parser源代碼下載

LLM_File_Parser

其他源碼

1.0.0

下載

LLM文件解析器

LLM文件解析器的0.02版由LibraryOfcelsus.com

安裝指南
跳到ChangElog
Discord服務器

最近的變化

•07/17添加了知識域作為單獨的索引，因此可以使用向量搜索現有域。

•07/12第一版

這個項目是什麼？

該項目是我較大的Aetherius項目的一部分，旨在簡化將非結構化數據轉換為結構化數據庫和數據集的過程。該程序屬於AUTOML，並使用各種LLM技術來掃描，塊和匯總非結構化文檔，並將其轉換為使用最少用戶輸入的結構化數據。

當前支持的文件類型：.epub，.pdf，.txt，.png，.jpg，.jpeg，.mp4，.mkv，.flv，.flv和.av

使用此格式的聊天機器人：

https://github.com/libraryofcelsus/hierarchical_rag_chatbot

``該項目用作文檔上傳器：https：//github.com/libraryofcelsus/advanced_rag_chatbot

Main AI助手GitHub：https：//github.com/libraryofcelsus/aetherius_ai_assistant

我的AI工作是由我的日常工作自給自足的，如果您欣賞我的工作，請考慮支持我。

加入DISCORD尋求幫助或獲得更多深入的信息！

Discord服務器：https：//discord.gg/pb5zcna7ze

訂閱我的YouTube視頻教程：https：//www.youtube.com/@libraryofcelsus（尚未啟動頻道）

代碼教程可在以下網址提供：https：//www.libraryofcelsus.com/research/public/code-tutorials/

製作人：https：//github.com/libraryofcelsus

ChangElog：

0.02

•添加了知識域作為單獨的索引，因此可以使用向量搜索現有域。

0.01

•第一版

安裝指南

安裝器蝙蝠

通過按<>代碼下拉菜單下載項目zip文件夾。

1。安裝Python 3.10.6，確保將其添加到路徑： https：//www.python.org/downloads/release/python-3106/

2。運行“ install_requirements.bat”以安裝所需的依賴項。蝙蝠將安裝Git，Poppler，Tesseract，FFMPEG以及所需的Python依賴性。

（如果安裝要求運行時會遇到錯誤： Python -M Pip Cache Purge ）

3。設置QDRANT或MARQO DB。要更改DB所使用的內容，請在./settings.json中編輯“ vector_db”鍵。 qdrant是默認值。

qdrant文檔：https：//qdrant.tech/documentation/guides/installation/

Marqo文檔：https：//docs.marqo.ai/2.9/

``使用本地QDRANT服務器，首先安裝Docker：https：//www.docker.com。
下一個類型： docker拉qdrant/qdrant：命令提示符中的v1.9.1 。
下載完成後，鍵入docker run -p 6333：6333 qdrant/qdrant：v1.9.1

要使用本地MARQO服務器，請首先安裝Docker：https：//www.docker.com。
下一個類型： Docker Pull Marqoai/Marqo：命令提示符中的最新信息。
下載完成後，鍵入docker run -name marqo -gpus -gpus all -p 8882：8882 marqoai/marqo：最新

（如果出現錯誤，請選中“ Docker容器”選項卡中的新容器，然後按開始按鈕。有時它無法啟動。）

請參閱：https：//docs.docker.com/desktop/backup-and-restore/有關如何進行備份。

一旦運行了本地矢量數據庫服務器，應由腳本自動檢測到它。

6。安裝所需的API。（如果使用OpenAi，則不需要）要更改使用API的內容，請在./settings.json中編輯“ API”鍵
https://github.com/oobabooga/text-generation-webui
https://github.com/lostruins/koboldcpp

8。啟動一個帶有運行_*的腳本

9。將“設置”選項卡中的信息更改為您的偏好。

10。將文件放入./uploads目錄中的相應文件夾中。首先運行文件處理腳本時，將創建上傳文件夾。

要使Whisper與Cuda一起工作，您可能需要運行命令：
。 venv scripts activate
PIP卸載火炬火炬手
PIP安裝火炬火炬Torchaudio -f https：//download.pytorch.org/whl/cu118/torch_stable.html

如果您想更改將數據上傳到向量db的格式，則可以在./ resources/db_upload中找到上傳腳本