NLP Question Answering
1.0.0
Сначала запустите scrabing.py, затем irmodel.py и Last Generativeai.py
Каждый необходимый файл CSV создается предыдущим файлом Python.
В этом проекте мы сосредоточены на разработке передовой системы ответов на вопросы, адаптированной для учеников старших классов. Основная цель системы-эффективно отвечать на вопросы, связанные с историей, предоставляя точную и соответствующую информацию, чтобы помочь студентам в их учебном пути.
На этапе скребки в Интернете мы программно извлекаем соответствующую информацию из различных веб -источников. Этот процесс включает в себя ползание веб -страниц, извлечение контента HTML, анализ данных и преобразование их в структурированный формат.
Следующим шагом является поиск информации, в котором мы используем такие методы, как TF-IDF (частота негативных документов с термином) и Sbert (предложение-берт) для индекса и эффективного поиска собранных текстовых данных. TF-IDF вычисляет важность каждого слова в корпусе документа, в то время как Sbert использует модели на основе трансформаторов для создания контекстных встроений для предложений или абзацев. Используя эти методы, мы можем эффективно получить соответствующие документы или отрывки, связанные с данным вопросом.
Последний шаг в процессе включает в себя генеративный ИИ, который направлен на создание человеческих ответов на заданные вопросы. Генеративная модель искусственного интеллекта учится из огромных объемов данных и генерирует когерентные и контекстуально релевантные ответы на основе входного вопроса. Эти модели способны понимать языковые шаблоны, семантики и контекст, позволяя им генерировать ответы, которые кажутся естественными и информативными.
