Build RAGAI

Build RAGAI

Сторонние компоненты

1.0.0

Скачать

Build-Ragai

Описание

Этот проект стремится научить вас, как создавать приложения Python с генеративной функциональностью ИИ, используя библиотеки Langchain и Transformers.

Несмотря на то, что есть раздел для Openai, большая часть кода, который ранее существовал, была перепрофилирована и интегрирована с библиотеками Langchain или Transformers. Этот проект включает в себя фрагменты кода, примеры пакетов и ноутбуки Jupyter, которые вы можете увеличить, копировать или учиться соответственно.

Если вы новичок в создании приложений с AI, я предлагаю вам начать с игры и выполнения кода в ноутбуках Langchain. Видеть код в действии, редактирование его самостоятельно и творческий мозговой штурм новых идей - лучший способ учиться.

Фрагменты кода: Здесь вы найдете подключаемые компоненты Python.
- bufferwindow_memory.py: простой компонент памяти, который можно использовать в беседе.
- ChatoPenai.py: простой компонент LLM, который можно использовать для возврата сообщений чата.
- multi_queryvector_retrieval.py: расширенный компонент ретривера, который сочетает в себе силу многопрофильного и многорекционного поиска.
Записные книжки: Здесь вы найдете ноутбуки Jupyter, которые проводят вас через использование множества различных классов Langchain.
- MERGEDDATALALARER: Узнайте, как встраивать и запросить несколько источников данных через MergedDataLoader . В этой записной книжке мы узнаем, как клонировать репозитории GitHub и соскребить веб -документацию, прежде чем внедрять их в векторную магазин, которую мы затем используем в качестве ретривера. К концу, вам должно быть удобно использовать любые источники в качестве контекста в ваших собственных тряпичных проектах.
- Пользовательские инструменты: Узнайте, как создавать и использовать пользовательские инструменты в агентах Langchain.
- Генерация и подпись и подпись + генерация видео: научитесь создавать агента, который выбирает, какой генеративный инструмент использовать на основе вашей подсказки. Этот пример начинается с того, что агент генерирует изображение после усовершенствования подсказки пользователя.
- Прохождение Лэнгсмита: Узнайте, как использовать трассировку Лэнгсмит и потянуть подсказки от Hub Langsmith.
- Поиск дополненного поколения: Начните с извлечением дополненного поколения, чтобы повысить производительность вашего LLM.
- Mongodb Rag: выполнять поиск сходства, фильтрацию метаданных и ответить на вопрос с MongoDB.
- Pinecone и Chromadb: более простое, но тщательное прохождение выполнения получения добычи с двумя разными векторами.
- Faiss и The Huggingfacehub: Узнайте, как использовать индексы FAISS для поиска сходства с Enterdings HuggingFacehub. Этот пример является вариантом для конфиденциальности, так как все работает локально. Не требуется графический процессор!
- Runnables and Chains (Langchain Expression Language): Узнайте разницу и как использовать Runnables and Chains в Langchain. Здесь вы погрузитесь глубоко в их специфику.
Примеры от конца к конечному: здесь вы найдете сценарии, сделанные для работы из коробки.
- Тряпка с агентами: научитесь использовать агенты для тряпки.
  - Streamlit Chatbot: простой чат -бот с использованием OpenAI.
  - Directory Loader: используйте класс DirectoryLoader для загрузки файлов для запроса.
  - Погрузчик каталога PYPDF: используйте класс PypdfDirectoryLoader для загрузки файлов для запроса.
  - Поиск сходства AI Facebook: используйте класс FacebookAISimilaritySearch для загрузки файлов для запроса.
  - VectorStore Rag: Узнайте, как использовать векторы в Лэнгхейне.
  - Pinecone: используйте базу данных Vector Pinecone «Индекс» в качестве ретривера и общайтесь со своими документами.

OpenAI:

Форматы кода: Здесь вы найдете фрагменты кода, используя библиотеку Python Openai.
- Текст в речь: используйте API Whisper, чтобы генерировать речь из текста.
Записные книжки: Здесь вы найдете тетради Jupyter, которые показывают, как использовать библиотеку Python Openai.
- Поиск. Дополнительное поколение: начните с добычей извлечения дополненного поколения и Pinecone, чтобы повысить производительность вашего LLM.

Трансформеры:

Форматы кода: Здесь вы найдете фрагменты кода, используя библиотеку Transformers Python.
- Дельфиновый микстральный: простая функция для генерации текста с использованием pipeline .
Записные книжки: Здесь вы найдете тетради Jupyter, которые показывают вам, как использовать библиотеку Transformers Python.
- Автоматическое распознавание речи: транскрибируйте речь с использованием Whisper-V3 в демонстрации Gradio.
Пакеты: Здесь вы найдете приложения CLI.
- Аудио транскрипция:
  - Миктранскрипция: транскрибируйте звук с помощью микрофона.
  - Создание задачи: генерирует задачи на основе транскрибированного звука.
- Поезд с Accelerate: Fine настройте модель классификации последовательностей, используя Accelerate, чтобы все было очень быстро.

Начиная

Установка

Выполнение и тестирование локального кода

Этот проект разработан с использованием PDM. Вы можете установить PDM с помощью pip :

Начните с перемещения в корневой каталог этого проекта, затем запустите:

pip install -U pdm

Затем вам нужно будет установить зависимости с помощью PDM:

pdm install

Эта команда создаст виртуальную среду в .venv и установит зависимости в этой среде. Если вы находитесь в MacOS или Linux, вы можете запустить source .venv/bin/activate для активации среды. В противном случае вы можете запустить команду .venv/Scripts/activate или .venv/Scripts/activate.ps1 для активации среды.

Используя виртуальную среду, мы избегаем перекрестного загрязнения нашей глобальной среды Python.

После того, как наша виртуальная среда настроена, нам нужно выбрать ее в качестве ядра для ноутбука Jupyter. Если вы находитесь в VSCODE, вы можете сделать это в правом верхнем углу от ноутбука. Если вы используете другую IDE, вам нужно будет найти помощь настройке онлайн.

При выборе ядра убедитесь, что вы выбираете тот, который находится внутри каталога .venv , а не в глобальной среде Python.

Проверьте свою первую записную книжку

Если вы совершенно новичок в создании приложений с применением искусственного интеллекта с доступом к внешним данным, в частности, извлечено дополненное поколение, ознакомьтесь с ноутбуком FASICS FASICS. Это самая простая ноутбук, и его концепции построены в каждой другой ноутбуке «тряпичная».