LLM with RAG

第一階段

1. 抹布文件
   • 大語言模型：
     • 語言模型：“ databricks/dbrx-instruct”：https：//huggingface.co/databricks/dbrx-instruct
     • NVIDIA客戶端：https：//build.nvidia.com/databricks/dbrx-instruct
   • 向量數據庫：
     • 米爾維斯：https：//milvus.io/
     • 嵌入模型：https：//huggingface.co/thenlper/gte-base
     • 支持OS：Linux
       • 目前不支持Windows OS，因為MILVUS_LITE不支持Windows OS
       • 將來會選擇不同的數據庫以解決此問題
2. PDF_TO_TXT文件
   • 當前手柄：
     • pdf（文本）到TXT
     • 需要改善預訂的預處理以進食抹布模型
3. 進度（10/01/2024）：簡化版本可在Linux上使用，具有一個查詢能力
   • （10/02/2024）：能夠重用查詢的收集

第二階段（當前）

1. 使用OCR創建PDF閱讀器
   • 接受上傳的PDF
   • 使用EasyOcr閱讀
   • 將結果存儲在文件中，最好是每個PDF的一個文件
2. 抹布文件支持遞歸問題和答案
3. 能夠將歷史質量質量檢查存儲在相應的文件中

第三階段

1. 將抹布與PDF閱讀器結合
2. 支持LLM長期內存
   • 將QA歷史記錄添加到另一個存儲
   • 將答案與歷史相結合

清理實現並優化

1. 優化，速度和內存

部署？