LLM with RAG

Первый этап

1. Тряпичный файл
   • Большая языковая модель:
     • Языковая модель: «DataBricks/DBRX-Instruct»: https://huggingface.co/databricks/dbrx-instruct
     • Клиент NVIDIA: https://build.nvidia.com/databricks/dbrx-instruct
   • Векторная база данных:
     • Милвус: https://milvus.io/
     • Модель встраивания: https://huggingface.co/thenlper/gte-base
     • Поддержка ОС: Linux
       • В настоящее время не поддерживает ОС Windows, потому что Milvus_Lite не поддерживает ОС Windows
       • В будущем выберет различную базу данных, чтобы решить эту проблему
2. PDF_TO_TXT -файл
   • Текущая ручка:
     • PDF (текст) в TXT
     • Необходимо улучшить предварительную обработку по заказу, чтобы подавать модель RAG
3. Прогресс (01.10.2024): упрощенная версия работает на Linux, с одной способностью запроса
   • (10/02/2024): способен повторно использовать коллекцию для запроса

Второй этап (ток)

1. Создание читателя PDF с использованием OCR
   • Принять загруженный PDF
   • Читать с помощью easyocr
   • хранить результаты в файлах, предпочтительно по одному файлу для каждого PDF
2. Rag -файл поддерживает рекурсивный вопрос и ответ
3. Способен хранить исторический QA в соответствующих файлах

Этап третий

1. Объединить тряпку с PDF -читателем
2. Поддержка LLM долгосрочная память
   • Добавить историю QA в другое хранилище
   • Объединить ответы с историей

Очистка внедрения и оптимизировать

1. оптимизация, скорость и память

Развертывание?