LLM with RAG

1 단계

1. 걸레 파일
   • 큰 언어 모델 :
     • 언어 모델 : "Databricks/DBRX-instruct": https://huggingface.co/databricks/dbrx-instruct
     • nvidia 클라이언트 : https://build.nvidia.com/databricks/dbrx-instruct
   • 벡터 데이터베이스 :
     • Milvus : https://milvus.io/
     • 임베딩 모델 : https://huggingface.co/thenlper/gte-base
     • 지원 OS : Linux
       • milvus_lite가 Windows OS를 지원하지 않기 때문에 현재 Windows OS를 지원하지 않습니다.
       • 이 문제를 해결하기 위해 향후 다른 데이터베이스를 선택할 것입니다.
2. pdf_to_txt 파일
   • 현재 핸들 :
     • pdf (텍스트)에서 txt
     • 헝겊 모델에 공급하기 위해 전처리를 개선해야합니다.
3. Progress (10/01/2024) : 단순화 된 버전은 Linux에서 작동하며 하나의 쿼리 능력으로 작동합니다.
   • (10/02/2024) : 쿼리 용 수집을 재사용 할 수 있습니다

2 단계 (현재)

1. OCR을 사용하여 PDF 리더 생성
   • 업로드 된 PDF를 허용하십시오
   • Easyocr을 사용하여 읽으십시오
   • 파일에 결과를 저장, 바람직하게는 각 pdf에 대해 하나의 파일을 저장합니다.
2. RAG 파일은 재귀적인 질문과 답변을 지원합니다
3. 해당 파일에 Historical QA를 저장할 수 있습니다

3 단계

1. 헝겊을 PDF 리더와 결합하십시오
2. LLM 장기 메모리를 지원합니다
   • 다른 스토리지에 QA 기록을 추가하십시오
   • 답변을 역사와 결합하십시오

정리 구현 및 최적화

1. 최적화, 속도 및 메모리

전개?