BYOSC Build Your Own Scalable Chatbots

Byosc-build-your-scalble-chatbots

Введение

При подготовке к университетским экзаменам было доказано, что наличие партнера имеет важное значение для обнаружения пробелов в знаниях и разъяснения конкретных сомнений по теме, рассматриваемой во время занятий. В то время как чат-боты, основанные на LLM, таких как CHATGPT, Phind и COLOD, уже оказывают помощь студентам, они не могут предоставить помощь лекции/материала на курсах студенческих университетов. Мы предлагаем создать систему для тонкой настройки чат-ботов на конкретных материалах конкретных курсов. Благодаря этому мы создадим учебных приятелей для курсов типичного студента университета, способны ответить на сомнения, генерировать вопросы и многое другое!

Можно проверить чат -бот по этой ссылке.

Неявный объем проекта (и всего курса) состоит в том, чтобы создать масштабируемую инфраструктуру, которая может размещать наши MLOP. По этой причине традиционный монолитный трубопровод ML разделен на три различных процесса: функции трубопровода , тренировочный трубопровод , конференция .

Функция трубопровода

Особенному трубопроводу отвечает:

• Загрузка нового доступного файла из общей общей папки
• Генерирование транскриптов файлов
• Загрузка новой стенограммы в Hopsworks
• Использование API GPT 3.5 для создания допустимого набора инструкций для точной настройки модели фундамента
• Загрузка таких инструкций, установленных на Hopsworks

Запуск конвейера функции

Есть несколько вариантов запуска функционального трубопровода:

• Выполните ноутбук FeaturePipeline/Reading.ipynb
• Выполнить FeaturePipeline/FeaturePipeline.py с использованием python3 FeaturePipeline/FeaturePipeline.py

Копия последнего слегка изменена в файле FeaturePipeline/FeaturePipeline_modal.py чтобы сделать его запуск в службе модального хостинга с помощью modal [run|deploy] FeaturePipeline/FeaturePipeline.py

Тренировочный трубопровод

Тренировочный трубопровод отвечает за:

• Получение набора инструкций от Hopsworks
• Настройка экземпляра тренера с использованием техники PEFT и LORA
• Управляя обучением
• Загрузка результата в Huggingface

Запуск тренировочного конвейера

Чтобы выполнить тренировочный трубопровод, запустите ноутбук TrainingPipeline/FineTuning.ipynb

Сделай из вывода

Трубопровод вывода отвечает за:

• Запустите интерфейс Chatbot, используя Streamlit + Langchain
• Загрузка транскриптов материала из Hopsworks
• Вычисления встроений исходного материала с использованием предложения bert
• Вычисление встроенных вопросов пользователя с использованием предложения bert
• Получить лучший материал для определенного вопроса
• Увеличение ответа чат -бота с использованием тряпки

Запуск конференции

Чтобы выполнить конвейер с выводом, запустите streamlit run chatbot_app.py

Выводы

Хотя экспериментально процесса тонкой настройки недостаточно, чтобы сделать основополагающая модель постоянно лучше, чем не настраиваясь, чат-бот с тряпкой способен не только правильно ответить на вопросы пользователя, следуя исходному материалу, но также может дать (в основном) правильные ссылки на то, откуда ответил на ответ, важную функцию для студента, изучающего для университетского экзамена!

Будущая работа

Точная настройка не работает так же хорошо, как предназначена из -за отсутствия используемых материалов и вычислительных ресурсов. В качестве будущей работы мы хотим улучшить процесс эксплуатации знаний и использовать большую вычислительную мощность для решения задач, показанных в отчете.