RAG Retrieval Augmented Generation
1.0.0
Этот ноутбук содержит шаги и код, чтобы продемонстрировать поддержку в поисках, рассмотренное поколение, в Watsonx.ai. Он вводит команды для поиска данных, создания базы знаний и запросов, а также тестирования моделей.
Используйте модель LLM, Langchain и Milvus, чтобы создать систему извлечения дополненного поколения (RAG). Это позволит нам задавать вопросы о наших документах (которые не были включены в данные обучения), без тонкого затягивания большой языковой модели (LLM). При использовании RAG, если вам дают вопрос, вы сначала выполняете шаг поиска, чтобы извлечь какие -либо соответствующие документы из специальной базы данных, векторную базу данных, где эти документы были проиндексированы.
Поиск дополненного поколения (RAG) - это универсальный шаблон, который может разблокировать ряд вариантов использования, требующих фактического отзывания информации, таких как запрос базы знаний на естественном языке.
Большие языковые модели (LLMS) доказали свою способность понимать контекст и предоставлять точные ответы на различные задачи NLP, включая суммирование, Q & A, когда его подсказывают. Будучи способными предоставить очень хорошие ответы на вопросы о информации, с которой они обучались, они склонны к галлюцинации, когда тема посвящена информации, которую они «не знают», IE не была включена в их учебные данные. Поиск дополненного поколения объединяет внешние ресурсы с LLMS. Поэтому основными двумя компонентами тряпки являются ретривер и генератор.
Часть ретривера может быть описана как система, которая способна кодировать наши данные, чтобы их можно было легко извлечь в соответствующие части при запрашивании. Кодирование осуществляется с использованием текстовых внедрений, то есть модели, обученная созданию векторного представления информации. Лучший вариант для реализации ретривера - векторная база данных. В качестве векторной базы данных есть несколько вариантов, как с открытым исходным кодом, так и коммерческими продуктами. Немногие примеры - Chromadb, Mevius, Faiss, Pinecone, Weaviate. Наш вариант в этом ноутбуке будет местным экземпляром ChromAdB (постоянный).
Для части генератора очевидным вариантом является LLM. В этой ноутбуке мы будем использовать квантованную модель Llama V2, из коллекции моделей Kaggle.
Оркестрация ретривера и генератора будет выполнена с использованием Langchain. Специализированная функция от Langchain позволяет нам создать генератор приемника в одной строке кода.
В своей простейшей форме RAG требует 3 шага:
690 000 слов очищенного текста из Википедии.
Есть три файла вопросов, по одному на каждый год студентов: S08, S09 и S10.
Файлы «Вопрос antswerpairs.txt» содержат как вопросы, так и ответы. Столбцы в этом файле следующие:
Вопросы, которые были признаны бедными, были отброшены из этого набора данных.
Часто есть несколько строк с одним и тем же вопросом, которые появляются, если на эти вопросы отвечают несколько человек. https://www.kaggle.com/rtatman/questionanswer-dataset
