llm ollama llamaindex bootstrap

Приложение для начальной загрузки (RAG).

Этот шаблон приложения, предназначенный для автономного использования, основан на учебных пособиях Андрея Барановского. Он предлагает отправную точку для создания вашего собственного местного тряпичного трубопровода, независимо от онлайн-API и облачных услуг LLM, таких как OpenAI. Это дает разработчикам экспериментировать и развернуть RAG -приложения в контролируемых средах.

Приложение FullStack UI, сгенерированное с использованием Create-Llama и настроенного для этого проекта, можно найти по адресу https://github.com/tyrell/llm-ollama-llamaindex-bootstrap-ui

Мой пост в блоге предоставляет больше контекста, мотивации и мышления этих проектов.

Стек

Это RAG -приложение работает полностью в автономном режиме, используя ваш локальный процессор для генерации/извлечения/ранжирования без необходимости доступа в Интернет. Это тряпительное развертывание зависит исключительно на ваш локальный процессор для вычислений. Обратите внимание, что обработка больших наборов данных или использование ресурсов моделей может замедлить производительность.

1. Большая языковая модель - мы используем Ollama (https://ollama.ai/), чтобы запустить наш LLM на локальном уровне. Любая модель, поддерживаемая OLLAMA, может быть настроена для использования с использованием файла config.yml, найденного в этом приложении.
2. Vector Store - мы используем Weaviate (https://weaviate.io) в качестве векторного магазина. Мы запускаем Weaviate как контейнер Docker. URL -адрес экземпляра Weaviate может быть настроен с использованием файла config.yml.
3. Index - мы используем llamaindex (https://www.llamaindex.ai) в качестве ядра этого тряпичного приложения, действующего в качестве индекса наших частных структур данных. Пример кода, предоставленный шаблоном, включает файл в индекс.
4. Vector Enterdings - мы используем Langchain (https://www.langchain.com) и Huggingface (https://huggingface.co) для поддержания локальной модели встраивания.

---

QuickStart

1. Запустите Weaviate Local Vector Store с Docker:

 docker compose up -d

2. Установите требования Python:

 pip install -r requirements.txt

3. Установите Ollama и вытащите предпочтительную модель LLM, указанную в config.yml

4. Скопировать текстовые файлы PDF в папку data

5. Запустите скрипт, чтобы преобразовать текст в векторные встраиваемые и сохранить в Weaviate:

 python ingest.py

1. Запустите main.py для обработки данных с помощью Rag Pipeline LLM, определенного в Pipeleline.py, и вернуть ответ:

 python main.py "Who are you?"

Отвечать:

 Answer:
I am an AI language model, designed to assist and provide information based on the context provided. In this case, the context is related to an invoice from Chapman, Kim and Green to Rodriguez-Stevens for various items such as wine glasses, stemware storage, corkscrew parts, and stemless wine glasses.

Here are some key details from the invoice:
- Invoice number: 61356291
- Date of issue: 09/06/2012
- Seller: Chapman, Kim and Green
- Buyer: Rodriguez-Stevens
- VAT rate: 10%

The invoice includes several items with their respective quantities, unit measures (UM), net prices, net worth, gross worth, and taxes. The summary section provides the total net worth, VAT amount, and gross worth of the invoice.
==================================================
Time to retrieve answer: 37.36918904201593

Вы можете найти больше подсказок в refts.txt для проверки приложения шаблона. Как только вы прочитали кодовую базу, разверните тряпку до ваших конкретных потребностей.

Лицензия

Apache 2.0

~ Тирелл Перера