QA

Проект был прекращен! ! !

Эта вещь является главной домашней задачей для курса экзаменов бакалавриата. Это было в основном написано случайным образом. В то время я ничего не знал и не мог использовать все виды API, поэтому реализация во многих местах была очень неуместной. Более того, модель также выбрала самую простую модель, чтобы сохранить проблемы, и она не имеет эталонного значения как на уровне кода, так и на академическом уровне.

Кроме того, поскольку нет разрешения использовать данные, я не могу раскрыть набор данных. Пожалуйста, поймите

Китайская система вопросов и ответов на основе LSTM

Этот проект реализует функцию поиска предложения, в котором ответ на заданный вопрос находится в нескольких предложениях, установив двухстороннюю модель сети длиной и кратковременной памяти. В предпосылке использования сторонних интернет-ресурсов , разработка.data может быть проверена с использованием модели, обученной на Training.data. MRR может достигать 0,75 или выше.

Как бежать

Экологическая зависимость

программа	Версия
питон	3.5.2
Tensorflow	1.2.1
jieba	0,38
Куда	8.0 (8.0.61.2)
Cudnn	5.1

CUDA и CUDNN являются зависимостью TensorFlow. Пожалуйста, проверьте официальную документацию Tensorflow, чтобы получить метод установки. Остальное можно установить с помощью команды pip install

Инструкции по использованию сторонних ресурсов

1. При выполнении сегментации слов на китайском тексте используется сегментация jieba
2. При кодировании хороших слов используется кодирование слов, чтобы избежать потерь производительности, вызванные однопольным кодированием. Слово-вектор использует 50-мерный векторный файл Word, полученный в рамках обучения в автономном режиме в китайской Википедии

Запустите программу

После установки библиотеки зависимостей просто выполните Main.py напрямую. Если есть модель, которая была обучена, программа подскажет вам напрямую загружать модель или начать обучение.

main.py не получает параметров. Если вам нужно изменить конфигурацию, пожалуйста, измените код напрямую. В файле есть подробные китайские комментарии, пожалуйста, измените их соответственно

taevaluation.py - это сценарий оценки, который может обеспечить оценки MRR, MAP и ACC@1, написанного помощником ассистента преподавателя. Я внес некоторые изменения в формат ввода и вывода

О обучении

Когда вы решите не использовать обученную модель, или нет обученной модели, программа будет использовать данные в Training.Data и разрабатывать. DATA для обучения модели. При использовании параметров по умолчанию обучение будет потреблять до 8G памяти + 2G видео памяти. Пожалуйста, убедитесь, что компьютер имеет достаточное количество аппаратных ресурсов заранее, чтобы предотвратить отчеты об ошибках. Полный процесс обучения занял около 12 часов при моих условиях GTX 850M+I5 4210H.

Кроме того, когда я корректировал параметры, даже с теми же параметрами, результаты каждого обучения все еще могут колебаться максимум на 0,03 с использованием метрики MRR, и причина неясна. Из -за личного оборудования и временных ограничений была выполнена лишь очень грубая корректировка параметров, и большинство параметров по -прежнему имеют место для дальнейшей оптимизации. Если вы заинтересованы, вы можете также попытаться оптимизировать его.