keras language modeling

케라-언어 모델링

Keras와 함께 언어 모델링을 수행하기위한 일부 코드, 특히 질문 응답 작업을위한 일부 코드. 나는 여기에서 찾을 수있는이 많은 것이 어떻게 작동하는지 설명하는 매우 긴 블로그 게시물을 썼습니다.

관심있는 것들

• attention_lstm.py : Blog Post 및 기타에 참조 된 논문 중 하나를 기반으로 한 주의력 LSTM. 하나의 응용 프로그램은 이미지 캡션에 사용했습니다. 신경망의주의 구성 요소를 제공하는주의 벡터로 초기화됩니다.
• insurance_qa_eval.py : InsuranceQA 데이터 세트의 평가 프레임 워크. 이 작업을 수행하려면 데이터 저장소를 복제하고 INSURANCE_QA 환경 변수를 복제 된 저장소로 설정하십시오. config 변경은 모델 교육 방식을 조정합니다.
• keras-language-model.py : LanguageModel 클래스는 config 설정을 사용하여 교육 모델과 테스트 모델을 생성합니다. 이 모델은 질문 벡터, 지상 진실 답변 벡터 및 잘못된 답변 벡터를 전달하여 교육을받을 수 있습니다 fit 그런 다음 질문과 답변 사이의 유사성을 계산 predict . 훈련 가능한 모델을 얻으려는 언어 모델로 build 방법을 대체하십시오. EmbeddingModel , ConvolutionModel 및 RecurrentModel 포함한 바닥에 예제가 제공됩니다.

시작하기

 # Install Keras (may also need dependencies)
git clone https://github.com/fchollet/keras
cd keras
sudo python setup.py install

# Clone InsuranceQA dataset
git clone https://github.com/codekansas/insurance_qa_python
export INSURANCE_QA= $( pwd ) /insurance_qa_python

# Run insurance_qa_eval.py
git clone https://github.com/codekansas/keras-language-modeling
cd keras-language-modeling/
python insurance_qa_eval.py

또는 Google 클라우드 플랫폼 인스턴스 (Ubuntu 16.04)를 시작하기 위해 스크립트를 작성하여

 cd ~
git clone https://github.com/codekansas/keras-language-modeling
cd keras-language-modeling
source install.py

이 모델을 상자 밖에서 사용할 수 있도록 노력하고 있습니다. 이러한 모델 중 일부를 실행하려면 Keras의 Git 브랜치를 설치해야합니다. Keras 프로젝트는 여기에서 찾을 수 있습니다.

실행 가능한 프로그램은 insurance_qa_eval.py 입니다. 이렇게하면 models/ 디렉토리가 생성 될 때 모델의 무게의 기록을 저장할 수 있습니다. Insurance_QA 데이터 세트가 어디에 있는지 알리려면 환경 변수를 설정해야합니다.

마지막으로, 내 설정 (매우 일반적이라고 생각하는)은 운영 체제와 SSD와 더 큰 데이터 파일이있는 HDD를 갖는 것입니다. 따라서 비슷한 설정이있는 경우 Project Directory에서 HDD 어딘가에 models/ Symlink를 작성하는 것이 좋습니다.

항구에 봉사합니다

플라스크를 사용하여 포트에 제공하는 명령 줄 인수를 추가했습니다. 플라스크를 설치하면 실행할 수 있습니다.

python insurance_qa_eval.py serve

이것은 데스크탑에서 멀어지는 교육 진행 상황을 모니터링하기 위해 NGROK와 함께 유용합니다.

또한

• 공식 구현은 여기에서 찾을 수 있습니다

데이터

• Yahoo WebScope에서 L6
• InsuranceQA 데이터
  • Pythonic 버전