Chatbot for mental health

정신 건강을위한 챗봇

업데이트 (2024)

• 구식 라이브러리 버전 및 방법으로 인해 작동하지 않는 Python 스크립트와 관련된 고정 문제
• 종속성을 쉽게 설치할 수 있도록 요구 사항이 추가되었습니다

스크립트를 실행하기 전에 Python 버전 <= 3.8이 설치되어 있는지 확인하십시오 (바람직하게는 Python 3.8; Tensorflow와 같은 일부 라이브러리를 설치하는 데 필요).

이 프로젝트는 내 대학 교수의 자체 스크랩 된 데이터 세트가있는 연구 프로젝트를 위해 이루어졌습니다. 우리가 사용한 데이터 세트는 기밀입니다. 따라서 샘플 Kaggle 데이터 세트를 사용했습니다. 나는 연구 중에 그러한 자원으로 어려움을 겪었 기 때문에 파이썬에서 다른 챗봇을 처음부터 편집하기 위해 스크립트를 오픈 소스로 만들기로 결정했습니다.

이 프로젝트의 동기 부여

2017 년에 National Mental Health Survey는 인도의 7 명 중 1 명이 우울증과 불안을 포함한 정신 장애로 고통 받고 있다고보고했습니다. 정신 건강에 대한 인식이 높아짐에 따라 개발의 주요 관심사가되었습니다. 인도의 약 1 억 5 천만 명이 중산층과 중산층이 잘 지내는 사람들보다 더 많은 부담에 직면 한 개입이 필요했습니다. 이 프로젝트는 정신 건강을보다 쉽게 ​​접근 할 수 있도록 시도합니다. 이 대화 대리인은 임상의와 보완되어 효과적이고 유익하게 만들 수 있습니다.

챗봇의 분류

챗봇은 다른 속성에 기초하여 분류 할 수 있습니다.

저의 연구는 설계 접근법, 즉 규칙 기반, 검색 기반 및 생성 기반과 관련이있었습니다.

1. 규칙 기반 챗봇 : 규칙 기반 챗봇은 간단한 규칙 기반 매핑 또는 패턴 일치를 사용하여 사전 정의 된 응답 세트에서 응답을 선택합니다. 이 시스템은 새로운 텍스트를 생성하지 않습니다. 대신, 그들은 사전 결정된 목록에서 답을 선택합니다.
2. 검색 기반 챗봇 : 검색 기반 챗봇은 기계 학습 앙상블을 평가를위한 휴리스틱으로 사용합니다. 규칙 기반 챗봇과 유사하게 새로운 텍스트를 생성하지 않습니다.
3. 생성 기반 챗봇 : 생성 모델은 사전 정의 된 응답에 의존하지 않습니다. 그들은 처음부터 새로운 답장을 내놓았습니다. 기계 번역 기술은 일반적으로 생성 모델에서 사용되지만 한 언어에서 다른 언어로 변환하는 대신 입력에서 출력 (응답)으로 "번역"합니다. 생성 모델은 처음부터 배우기 때문에 창조에 사용됩니다.

훈련 된 봇의 개요

데이터 세트는 Kaggle -Mental Health FAQ에서 픽업되었습니다. 이 데이터 세트는 정신 건강에 관한 98 개의 FAQ로 구성됩니다. QuestionId, Question 및 답변의 3 개의 열로 구성됩니다.

검색 챗봇을 훈련시키기 위해 CSV 파일은 수동으로 JSON 파일로 변환되었습니다 . 이것은 연구에 사용 된 원래 데이터 세트가 아니기 때문에 (읽기 소개) 모델을 훈련시키는 데 처음 20 행만 사용했습니다.

이 저장소는 세 가지 유형의 챗봇에 대한 3 개의 노트북으로 구성됩니다.

1. 규칙 기반의 경우 TF-IDF는 데이터 미리 프로세싱을 위해 NLTK의 토큰 화기 와 함께 사용되었습니다. 처리 된 데이터는 예상 결과에 대해 테스트되었고 코사인 유사성을 평가에 사용 하였다.

2. 검색 기반의 경우 몇 가지 머신 러닝 및 딥 러닝 모델이 교육을 받았습니다.

   • 바닐라 RNN
   • lstm
   • bi -lstm
   • 그루
   • CNN 검색 모델은 JSON 파일에 대한 교육을받습니다. 위의 모든 모델에 대해 정규화가 사용되었으며 교육 및 검증 정확도 및 손실을 기반으로 최종 비교를 위해 최상의 모델을 유지했습니다. CNN 아키텍처가 최상의 결과를 얻은 것으로 관찰되었습니다. 이 모델은 CNN (Convolutional Neural Network) + 임베딩 층 +와 완전히 연결된 층으로 구성되었습니다.

3. 생성 기반 챗봇의 경우 NLP가 NLP를 사용하면 챗봇이 인간 대화의 패턴과 스타일을 배우고 모방 할 수 있기 때문에 NLP가 사용되었습니다. 그것은 당신이 로봇이 아닌 인간과 이야기하고 있다는 느낌을줍니다. 적절한 사전 정의 된 가능한 응답을 위해 메시지를 분류하기 위해 사용자 입력을 의도에 매핑합니다.

• 인코더 디코더 모델은 CSV 파일에서 교육을 받았습니다. Endoder-Decoder는 SEQ2SEQ 모델로, 인코더 디코더 모델이라고도합니다.
• Seq2Seq 또는 Encoder-Decoder 모델은 간단한 단어로 무엇을합니까? 그것은 사용자 입력에 주어진 단어를 예측 한 다음 다음 단어가 해당 단어가 발생할 가능성을 사용하여 예측됩니다.

JSON 대 CSV

이 프로젝트에서 내가 가진 가장 큰 혼란은 챗봇이 검색 기반 모델에 CSV 대신 JSON 파일을 사용한 이유였습니다. 두 파일 유형을 비교하는 몇 가지 요점을 나열했습니다.

• JSON은 챗봇에 태그와 컨텍스트가 필요하다는 점을 감안할 때 검색 기반 챗봇에 더 좋습니다.
• 검색 기반 챗봇은 사전 정의 된 답변 풀을 기반으로 최상의 응답을 제공하도록 교육을 받았습니다. 이러한 사전 정의 된 응답은 숫자가 유한합니다. 입력-출력 매핑을 위해서는 태그가 제공되어야합니다. 간단히 말해서, 사용자가 제공 한 입력 (컨텍스트)은 제공된 태그로 식별됩니다. 예측 된 최상의 태그를 기반으로, 사용자는 사전 정의 된 응답 중 하나가 표시됩니다 . 따라서 이러한 종류의 데이터를 JSON 파일에 저장하는 것이 컴팩트성과 계층 구조로 인해 더 쉽습니다.
• CSV 파일은 생성 챗봇의 데이터를 저장하는 데 사용되었습니다. 생성 챗봇에는 예측을 위해 태그가 필요하지 않습니다 . 이 데이터는 CSV 파일에 더 쉽게 저장할 수 있습니다. 입력 텍스트와 출력 텍스트의 두 열만 필요하기 때문입니다. 이 경우 JSON 파일에 비해 데이터를 추가하거나 삭제하는 것이 더 쉬울 것입니다.

미래의 목표

생성 기반 챗봇의 가능성을 더 연구하고 싶습니다. 현재 인코더 디코더 모델은 LSTM의 소형 특성으로 인해 디코더 층의 모든 종속성을 캡처 할 수 없습니다. LSTM 레이어 후 각 출력을 동적으로 해독하기 위해주의 레이어를 추가 할 수 있습니다.