NLP Interview Notes

NLP는 드문 일입니다

소개 :이 프로젝트는 개인 인터뷰 및 경험을 바탕으로 NLP (Natural Language Processing) 인터뷰에서 준비한 연구 노트 및 자료입니다. 이 자료에는 현재 자연어 처리의 다양한 분야에서 인터뷰 질문이 축적되고 있습니다.

> NLP 인터뷰 및 교환 그룹 (참고 : 가득 차면 편집기 WX : Yzyykm666을 추가하여 그룹에 가입 할 수 있습니다!)

4. NLP 학습 알고리즘에 대한 일반적인 인터뷰

4.1 정보 추출을위한 일반적인 인터뷰

4.1.1 명명 엔터티 인식에 대한 일반적인 인터뷰

• 숨겨진 Markov 알고리즘 hmm 일반적인 인터뷰
  • 1. 기본 정보 소개
    • 1.1 확률 그래프 모델이란 무엇입니까?
    • 1.2 임의 공항이란 무엇입니까?
  • 2. Markov 프로세스 소개
    • 2.1 Markov 프로세스는 무엇입니까?
    • 2.2 Markov 프로세스의 핵심 아이디어는 무엇입니까?
  • III. 숨겨진 마르코프 알고리즘
    • 3.1 숨겨진 Markov 알고리즘 소개
      • 3.1.1 숨겨진 Markov 알고리즘은 무엇입니까?
      • 3.1.2 숨겨진 Markov 알고리즘의 두 시퀀스는 무엇입니까?
      • 3.1.3 숨겨진 Markov 알고리즘의 세 행렬은 무엇입니까?
      • 3.1.4 숨겨진 Markov 알고리즘의 두 가정은 무엇입니까?
      • 3.1.5 숨겨진 Markov 알고리즘의 워크 플로는 무엇입니까?
    • 3.2 숨겨진 Markov 알고리즘 모델의 계산 프로세스
      • 3.2.1 숨겨진 Markov 알고리즘 학습의 훈련 과정은 무엇입니까?
      • 3.2.2 숨겨진 Markov 알고리즘의 시퀀스 주석 (디코딩) 프로세스는 무엇입니까?
      • 3.2.3 숨겨진 Markov 알고리즘의 시퀀스 확률 프로세스는 무엇입니까?
    • 3.3 숨겨진 Markov 알고리즘 문제

답을 보려면 클릭하십시오

• 최대 엔트로피 Markov 모델 MEMM 일반적인 인터뷰
  • 4. 최대 엔트로피 Markov 모델 (MEMM)
    • 4.1 최대 엔트로피 Markov 모델 (MEMM) 동기 부여
      • 4.1.1 HMM의 문제는 무엇입니까?
    • 4.2 최대 엔트로피 Markov 모델 소개 (MEMM)
      • 4.2.1 MEMM (Maximum Entropy Markov Model)은 어떻게 생겼습니까?
      • 4.2.2 최대 엔트로피 Markov 모델 (MEMM) HMM 문제를 해결하는 방법은 무엇입니까?
    • 4.3 최대 엔트로피 Markov 모델 (MEMM) 문제

답을 보려면 클릭하십시오

• 조건부 임의 공항 (CRF) 일반 인터뷰
  • 5. 조건부 임의 필드 (CRF)
    • 5.1 CRF 동기
      • 5.1.1 HMM 및 MEMM의 문제는 무엇입니까?
    • 5.2 CRF 소개
      • 5.2.1 CRF는 무엇입니까?
      • 5.2.2 CRF의 주요 아이디어는 무엇입니까?
      • 5.2.3 CRF의 정의는 무엇입니까?
      • 5.2.4 CRF의 과정은 무엇입니까?
    • 5.3 CRF 장단점
      • 5.3.1 CRF의 장점은 무엇입니까?
      • 5.3.2 CRF의 단점은 무엇입니까?
    • 5.4 CRF 재생?
  • 6. 비교
    • 6.1 CRF 모델과 HMM 및 MEMM 모델의 차이점은 무엇입니까?

답을 보려면 클릭하십시오

• DNN-CRF 일반적인 인터뷰
  • 1. 기본 정보
    • 1.1 명명 엔티티 인식에 대한 평가 지표는 무엇입니까?
  • 2. 전통적인 명명 엔터티 인식 방법
    • 2.1 규칙 기반 엔티티 인식의 규칙 기반 방법은 무엇입니까?
    • 2.2 감독되지 않은 학습을 기반으로 한 이름 지정 엔터티 인식 방법은 무엇입니까?
    • 2.3 기능 기반 감독 학습을 기반으로 한 명명 된 엔티티 인식 방법은 무엇입니까?
  • 3. 딥 러닝을 기반으로 한 엔티티 인식 방법 명명
    • 3.1 기계 학습을 기반으로 한 명명 된 엔티티 인식 방법에 비해 딥 러닝을 기반으로 한 명명 된 엔티티 인식 방법의 장점은 무엇입니까?
    • 3.2 딥 러닝을 기반으로 한 명명 된 엔티티 인식 방법의 구조는 무엇입니까?
    • 3.3 분산 입력 레이어 란 무엇이며 방법은 무엇입니까?
    • 3.4 텍스트 인코더
      • 3.4.1 BILSTM-CRF
        • 3.4.1.1 BILSTM-CRF 란 무엇입니까?
        • 3.4.1.2 왜 bilstm을 사용합니까?
      • 3.4.2 IDCNN-CRF
        • 3.4.2.1 확장 된 CNN은 무엇입니까?
        • 3.4.2.2 왜 확장 된 CNN이 있습니까?
        • 3.4.2.3 확장 된 CNN의 장점은 무엇입니까?
        • 3.4.2.4 IDCNN-CRF 소개
    • 3.5 태그 디코더
      • 3.5.1 태그 디코더는 무엇입니까?
      • 3.5.2 MLP 소개+SoftMax 레이어 소개?
      • 3.5.3 조건부 랜덤 필드 CRF 계층 소개?
      • 3.5.4 재발 신경 네트워크의 RNN 층 소개?
      • 3.5.3 포인터 네트워크 계층 소개?
  • 4. 비교
    • 4.1 CNN-CRF vs BILSTM-CRF vs IDCNN-CRF?
    • 4.2 DNN이 CRF를 추가 해야하는 이유는 무엇입니까?
    • 4.3 Tensorflow의 CRF 대 이산 툴킷의 CRF?

답을 보려면 클릭하십시오

• 중국 현장 NER 일반적인 인터뷰
  • 1. 동기
    • 1.1 중국어 명명 된 엔티티 인식과 영어 명명 된 엔티티 인식의 차이점은 무엇입니까?
  • 2. 어휘 향상
    • 2.1 어휘 향상이란 무엇입니까?
    • 2.2 "어휘 향상"방법이 중국 NER 작업에 효과적인 이유는 무엇입니까?
    • 2.3 어휘 향상 방법은 무엇입니까?
    • 2.4 다이나믹 아키텍처
      • 2.4.1 동적 아키텍처 가란 무엇입니까?
      • 2.4.2 일반적인 방법은 무엇입니까?
      • 2.4.3 격자 LSTM이란 무엇이며 문제는 무엇입니까?
      • 2.4.4 평평한 것은 무엇이며 문제는 무엇입니까?
    • 2.5 적응 형 임베딩 패러다임
      • 2.5.1 적응 적 임베딩 패러다임은 무엇입니까?
      • 2.5.2 일반적인 방법은 무엇입니까?
      • 2.5.3 WC-LSTM이란 무엇이며 문제는 무엇입니까?
  • 3. 어휘/엔티티 유형 정보 향상
    • 3.1 어휘/엔티티 유형 정보 향상이란 무엇입니까?
    • 3.2 왜 "어휘/엔티티 유형 정보 향상"방법이 중국 NER 작업에 효과적입니까?
    • 3.3 어휘/엔티티 유형 정보를 향상시키는 방법은 무엇입니까?
    • 3.4 Lex-Bert는 무엇입니까?

답을 보려면 클릭하십시오

• 명명 된 엔티티 인식 트릭 일반적인 인터뷰
  • 트릭 1 : 도메인 사전 일치
  • 트릭 2 : 규칙 추출
  • 트릭 3 : 단어 벡터 선택 : 단어 벡터 또는 단어 벡터?
  • 트릭 4 : 기능 추출기를 선택하는 방법?
  • 트릭 5 : 저명한 이름을 다루는 방법?
  • 트릭 6 : 부족한 라벨링 데이터를 다루는 방법은 무엇입니까?
  • 트릭 7 : 중첩 명명 된 엔티티 인식을 다루는 방법
    • 7.1 엔티티 둥지는 무엇입니까?
    • 7.2 전통적인 지명 된 엔티티 인식 작업과의 차이점
    • 7.3 솔루션 :
      • 7.3.1 방법 1 : 시퀀스 주석
      • 7.3.2 방법 2 : 포인터 주석
      • 7.3.3 방법 3 : 긴 헤더 주석
      • 7.3.4 방법 4 : 조각 배열
  • 트릭 8 : 중국 NER 작업에 "어휘 향상"방법이 효과적인 이유는 무엇입니까?
  • TRICK 9 : NER 엔티티 스팬이 너무 길면 어떻게해야합니까?
  • 트릭 10 : NER 라벨링 데이터 노이즈 문제?
  • 트릭 11 : 두 개의 명명 된 엔티티 인식 작업이 주어지면 한 작업에는 충분한 데이터가 있고 다른 작업에는 데이터가 거의 없습니다. 무엇을 할 수 있습니까?
  • Trick 12 : NER 라벨링 데이터 불균형의 문제입니까?

답을 보려면 클릭하십시오

4.1.2 관계 그리기를위한 일반적인 인터뷰

• 일반적인 인터뷰를 그리는 관계
  • 1. 동기
    • 1.1 관계 추출이란 무엇입니까?
    • 1.2 관계 추출 기술의 유형은 무엇입니까?
    • 1.3 일반적인 관계 추출 프로세스는 어떻게 수행됩니까?
  • 2. 클래식 관계 추출
    • 2.1 템플릿 매칭 방법은 무엇을 참조합니까? 장단점은 무엇입니까?
    • 2.2 원격 감독 관계 추출은 무엇을 의미합니까? 장단점은 무엇입니까?
    • 2.3 관계 겹침은 무엇입니까? 복잡한 관계 문제?
    • 2.4 공동 추출이란 무엇입니까? 어려움은 무엇입니까?
    • 2.5 공동 추출의 전반적인 방법은 무엇입니까? 그들의 결점은 무엇입니까?
    • 2.6 공유 매개 변수를 기반으로 공동 추출 방법 소개?
    • 2.7 관절 디코딩에 기초한 관절 디코딩 소개?
    • 2.8 엔티티 관계 추출의 최첨단 기술과 과제는 무엇입니까? 낮은 자원과 복잡한 샘플에서 엔티티 관계의 추출을 해결하는 방법은 무엇입니까?
  • 3. 문서 수준의 관계 추출
    • 3.1 문서 수준의 관계 추출과 고전적인 관계 추출의 차이점은 무엇입니까?
    • 3.2 문서 수준의 관계 추출에서 어떤 문제가 발생합니까?
    • 3.3 문서 수준의 관계 추출 방법은 무엇입니까?
      • 3.3.1 문서 관계 추출은 Bert-like에 기초하여 어떻게 수행됩니까?
      • 3.3.2 그래프 기반 문서 관계 추출은 어떻게 이루어 집니까?
    • 3.4 문서 수준의 관계 추출 및 평가 방법에 대한 공통 데이터 세트는 무엇입니까?

답을 보려면 클릭하십시오

4.1.3 이벤트 추출 공통 인터뷰

• 이벤트 그리기 일반적인 인터뷰
  • 1. 원리
    • 1.1 이벤트는 무엇입니까?
    • 1.2 이벤트 추출이란 무엇입니까?
    • 1.3 ACE 평가에서 이벤트 추출과 관련된 기본 용어 및 작업은 무엇입니까?
    • 1.4 이벤트 추출은 어떻게 발달합니까?
    • 1.5 이벤트 추출 문제는 무엇입니까?
  • 2. 기본 작업
    • 2.1 트리거 워드 감지
      • 2.1.1 트리거 워드 감지 란 무엇입니까?
      • 2.1.2 트리거 워드 감지 방법은 무엇입니까?
    • 2.2 유형 식별
      • 2.2.1 유형 인식이란 무엇입니까?
      • 2.2.2 유형 식별 방법은 무엇입니까?
    • 2.3 역할 인식
      • 2.3.1 역할 인식이란 무엇입니까?
      • 2.3.2 역할 인식 방법은 무엇입니까?
    • 2.4 인수 탐지
      • 2.4.1 인수 탐지 란 무엇입니까?
      • 2.4.2 인수 탐지 방법은 무엇입니까?
  • 3. 일반적인 방법
    • 3.1 이벤트 추출에서 패턴 매칭 방법을 사용하는 방법은 무엇입니까?
    • 3.2 이벤트 추출에 통계 기계 학습 방법을 어떻게 사용합니까?
    • 3.3 이벤트 추출에서 딥 러닝 방법을 어떻게 사용합니까?
  • IV. 데이터 세트 및 평가 지표
    • 4.1 이벤트 추출의 일반적인 영어 데이터 세트는 무엇입니까?
    • 4.2 이벤트 추출의 일반적인 중국 데이터 세트는 무엇입니까?
    • 4.3 이벤트 추출에 대한 평가 지표는 무엇입니까? 그것을 계산하는 방법?
  • 5. 비교
    • 5.1 이벤트 추출과 명명 된 엔티티 인식 (예 : 엔티티 추출)의 유사점과 차이점은 무엇입니까?
    • 5.2 이벤트 추출과 관계 추출의 유사점과 차이점은 무엇입니까?
    • 5.3 사실지도는 무엇입니까? 이벤트 관계 유형은 무엇입니까? 합리적지도를 구축하는 방법? 주요 기술 분야와 현재 개발 핫스팟은 무엇입니까?
  • 6. 응용 프로그램
  • 7. 확장
    • 7.1 이벤트 추출 용지 요약
    • 7.2 이벤트 추출 FAQ

4.2 NLP 사전 훈련 알고리즘에 대한 일반적인 인터뷰

• tf-idf에 대해】 모르는 것들
  • 1. 한 번
    • 1.1 왜 한 번이 있습니까?
    • 1.2 한 번은 무엇입니까?
    • 1.3 일대일의 특성은 무엇입니까?
    • 1.4 일원의 문제는 무엇입니까?
  • 2. TF-IDF
    • 2.1 TF-IDF 란 무엇입니까?
    • 2.2 TF-IDF는 단어의 중요성을 어떻게 평가합니까?
    • 2.3 TF-IDF의 아이디어는 무엇입니까?
    • 2.4 TF-IDF의 계산 공식은 무엇입니까?
    • 2.5 TF-IDF를 설명하는 방법은 무엇입니까?
    • 2.6 TF-IDF의 장점은 무엇입니까?
    • 2.7 TF-IDF의 단점은 무엇입니까?
    • 2.8 TF-IDF의 적용?

답을 보려면 클릭하십시오

• Word2Vec에 대해】 모르는 것들
  • 1. WordVec 소개
    • 1.1 WordVec은 무엇을 의미합니까?
    • 1.2 WordVec의 Cbow는 무엇을 의미합니까?
    • 1.3 WordVec에서 Skip-Gram은 무엇을 의미합니까?
    • 1.4 Cbow vs Skip-Gram에게 어느 것이 더 나은가?
  • 2. WordVec 최적화 기사
    • 2.1 Word2Vec의 호프만 트리는 무엇입니까?
    • 2.2 Word2Vec에서 Hoffman Tree를 사용해야하는 이유는 무엇입니까?
    • 2.3 Word2Vec에서 호프만 트리를 사용하면 어떤 이점이 있습니까?
    • 2.4 Word2Vec에서 네거티브 샘플링이 사용되는 이유는 무엇입니까?
    • 2.5 Word2Vec에서 음의 샘플링은 어떻습니까?
    • 2.6 Word2Vec에서 음의 샘플링의 샘플링 방법은 무엇입니까?
  • 3. WordVec 비교
    • 3.1 Word2Vec과 NNLM의 차이점은 무엇입니까? (Word2Vec vs nnlm)
    • 3.2 유사성 계산에서 Word2Vec과 TF-IDF의 차이점은 무엇입니까?
  • 4. Word2Vec 실제 장
    • 4.1 Word2Vec 교육 트릭, 창 설정은 얼마나 큰가요?
    • 4.1 Word2Vec Training Trick, Word Vector Latitude, 크고 작고 기타 매개 변수의 영향은 무엇입니까?

답을 보려면 클릭하십시오

• 【FASTTEXT에 대해 fast 모르는 것들
  • 1. FastText 동기 부여
    • 1.1 단어 수준 모델이란 무엇입니까?
    • 1.2 단어 수준 모델의 문제는 무엇입니까?
    • 1.3 문자 수준 모델이란 무엇입니까?
    • 1.4 문자 수준 모델 장점?
    • 1.5 문자 수준 모델에 문제가 있습니까?
    • 1.6 문자 수준 모델 문제에 대한 해결책?
  • 2. 단어로 N- 그램 정보 소개 (하위 단어 N- 그램 정보)
    • 2.1 소개
    • 2.2 FastText 란 무엇입니까?
    • 2.3 FastText의 구조는 무엇입니까?
    • 2.4 FastText가 단어에서 n 그램 정보를 사용하는 이유 (subword n-gram 정보)는 무엇입니까?
    • 2.5 FastText Word (subword n-gram 정보)의 N-Gram 정보 소개?
    • 2.6 빠른 텍스트 단어로 N- 그램 정보의 교육 프로세스?
    • 2.7 FastText 단어의 N-Gram 정보에 문제가 있습니까?
  • 3. 계층 적 SoftMax 회귀 소개 (계층 적 SoftMax)
    • 3.1 왜 계층 적 SoftMax 회귀를 사용합니까?
    • 3.2 계층 적 SoftMax 회귀의 아이디어는 무엇입니까?
    • 3.3 계층 적 SoftMax 회귀의 단계는 무엇입니까?
  • 4. FastText에 문제가 있습니까?

답을 보려면 클릭하십시오

• Elmo에 대해 el el 모르는 것들
  • 1. 엘모 동기 부여
    • 1.1 왜 엘모가 있습니까?
  • 2. 엘모 소개
    • 2.1 엘모의 특징은 무엇입니까?
    • 2.2 Elmo의 생각은 무엇입니까?
  • 3. 엘모 질문
    • 3.1 Elmo의 문제는 무엇입니까?

답을 보려면 클릭하십시오

4.3 버트 일반적인 인터뷰

• 버트 일반적인 인터뷰
  • 1. 동기
    • 1.1 [Evolution History] 일원에 문제가 있습니까?
    • 1.2 [Evolution History] WordVec에 문제가 있습니까?
    • 1.3 [Evolution History] FastText에 문제가 있습니까?
    • 1.4 [Evolution History] Elmo에 문제가 있습니까?
  • 2. 버트
    • 2.1 Bert 소개
      • 2.1.1 【BERT】 BERT 란 무엇입니까?
      • 2.1.2 【BERT】 BERT 세 가지 주요 점?
    • 2.2 버트 입력 및 출력 특성
      • 2.2.1 [BERT] BERT 입력 및 출력 특성은 어떻게 생겼습니까?
    • 2.3 Bert 【버트 사전 훈련
      • 2.3.1 ert 버트】 버트 사전 훈련 작업 소개
      • 2.3.2 ert 버트】 버트 사전 훈련 작업 마스킹 된 LM 장
        • 2.3.2.1 【BERT】 BERT가 미리 훈련 작업이 필요한 이유는 무엇입니까?
        • 2.3.2.
        • 2.3.2.
        • 2.3.2.
      • 2.3.3 Bert】 Bert 사전 훈련 작업 다음 문장 예측
        • 2.3.3.1 [Bert] Bert는 왜 미리 훈련 작업이 필요합니까? 다음 문장 예측은 무엇입니까?
        • 2.3.3.2 【Bert】 Bert 사전 훈련 작업에서 다음 문장 예측을 수행하는 방법은 무엇입니까?
    • 2.4 Bert 【미세 회전 기사?
      • 2.4.1 ert Bert】 Bert는 왜 미세 회전이 필요합니까?
      • 2.4.2 ert BERT】 BERT에서 미세 회전하는 방법?
    • 2.5 【버트 【버트 손실 기능?
      • 2.5.1 [Bert] Bert의 두 가지 사전 훈련 작업에 해당하는 손실 함수는 무엇입니까 (공식 형식으로 표현 됨)?
  • 3. 비교?
    • 3.1 [대비] 다항식의 문제는 무엇입니까?
    • 3.2 [비교] Word2Vec이 다형성의 문제를 해결할 수없는 이유는 무엇입니까?
    • 3.3 [비교] GPT와 Bert의 차이점은 무엇입니까?
    • 3.4 [비교] 왜 Elmo, GPT 및 Bert가 다형성의 문제를 해결할 수 있습니까? (예를 들어 Elmo를 가져 가십시오)

답을 보려면 클릭하십시오

• Bert 소스 소스 코드 분석에 대해 I의 본체] 당신이 모르는 것들
• Bert 소스 소스 코드 분석 II 사전 훈련 장에 대해 모르는 것들
• Bert 소스 소스 코드 분석 III 미세 조정 장에 대해 모르는 것들
• [Bert 소스 코드 분석 정보 IV 문장 벡터 생성 기사]
• [BERT 소스 코드 분석 v 텍스트 유사성 장] 모르는 것들

4.3.1 Bert 모델 압축에 대한 일반적인 인터뷰

• 버트 모델 압축 공통 인터뷰
  • 1. 버트 모델 압축 동기
  • 2. 버트 모델 압축 비교 테이블
  • 3. Bert 모델 압축 방법 소개
    • 3.1 저급 인수화 및 크로스 레이어 매개 변수 공유 버트 모델 압축 방법
      • 3.1.1 낮은 순위 인수화 란 무엇입니까?
      • 3.1.2 크로스 레이어 매개 변수 공유 란 무엇입니까?
      • 3.1.3 Albert가 사용하는 방법?
    • 3.2 BERT 모델 압축 방법 증류
      • 3.2.1 증류 란 무엇입니까?
      • 3.2.2 모델 증류를 사용하여 어떤 논문이 있습니까? 간단히 소개하겠습니다.
    • 3.3 버트 모델 압축 방법의 정량화
      • 3.3.1 정량이란 무엇입니까?
      • 3.3.2 Q-Bert : Bert의 Hessian 기반 초저 정밀 정밀도 【정량화】
    • 3.4 Bert 모델 압축 방법 가지 치기
      • 3.4.1 가지 치기 란 무엇입니까?
  • 4. 모델 압축에 문제가 있습니까?

답을 보려면 클릭하십시오

4.3.2 Bert 모델 시리즈의 일반적인 인터뷰

• xlnet을 알고 있습니까? 말해 줄래? 버트의 차이점은 무엇입니까?
• Roberta를 아십니까? 말해 줄래? 버트의 차이점은 무엇입니까?
• Spanbert를 알고 있습니까? 말해 줄래? 버트의 차이점은 무엇입니까?
• 미사를 아십니까? 말해 줄래? 버트의 차이점은 무엇입니까?

답을 보려면 클릭하십시오

4.4 텍스트 분류를위한 일반적인 인터뷰

• 텍스트 분류를위한 일반적인 인터뷰
  • 1. 추상 제안
    • 1.1 분류 작업의 범주는 무엇입니까? 그들의 특성은 무엇입니까?
    • 1.2 다른 분야의 분류 작업과 비교하여 텍스트 분류 작업의 차이점은 무엇입니까?
    • 1.3 텍스트 분류 작업과 텍스트 필드의 다른 작업의 차이점은 무엇입니까?
    • 1.4 텍스트 분류 과정?
  • 2. 데이터 전처리
    • 2.1 텍스트 분류 작업을위한 데이터 전처리 방법은 무엇입니까?
    • 2.2 어떤 단어 분사 방법과 도구를 사용 했습니까?
    • 2.3 중국어 텍스트를 분사하는 방법?
    • 2.4 문자열 일치를 기반으로하는 단어 세분화 방법의 원리는 무엇입니까?
    • 2.5 통계 언어 모델은 단어 분사에 어떻게 적용됩니까? n- 그램 최대 확률 분사?
    • 2.6 시퀀스 주석을 기반으로 한 단어 세분화 방법은 무엇입니까?
    • 2.7 (BI-) LSTM을 기반으로 한 부품 주석은 무엇입니까?
    • 2.8 줄기 추출과 단어 모양 복원의 차이점은 무엇입니까?
  • 3. 특징 추출
    • 3.1 (특정) 텍스트 분류 작업에서 어떤 특성을 사용할 수 있습니까?
    • 3.2 (서양 텍스트의 경우) 단어 사용과 글자를 특성으로 사용하는 것의 차이점은 무엇입니까?
    • 3.3 단어 모델의 가방을 간단히 소개 할 수 있습니까?
    • 3.4 N- 그램
      • 3.4.1 n-method 구문이란 무엇입니까? 왜 n 그램을 사용합니까?
      • 3.4.2 N-Gram 알고리즘의 한계는 무엇입니까?
    • 3.5 주제 모델링
      • 3.5.1 주제 모델링 작업 소개?
      • 3.5.2 주제 모델링의 일반적인 방법
      • 3.5.3 TF-IDF 알고리즘은 무엇을합니까? TF-IDF 알고리즘에 대한 간단한 소개
      • 3.5.4 TF-IDF가 무엇을 의미합니까?
      • 3.5.5 TF-IDF의 단점
    • 3.6 텍스트 유사성
      • 3.6.1 텍스트의 두 단락 사이의 거리를 계산하는 방법은 무엇입니까?
      • 3.6.2 자크 카드 거리는 얼마입니까?
      • 3.6.3 주사위 계수와 Jaccard 계수의 차이점은 무엇입니까?
      • 3.6.4 편집 거리도 마찬가지입니다. 레빈 슈타인 거리와 해밍 거리의 차이점은 무엇입니까?
      • 3.6.5 편집 거리 계산에 관한 프로그래밍 질문을 작성하십시오 (Lewinstein 거리)?
  • 4. 모델
    • 4.1 FastText
      • 4.1.1 FastText의 분류 프로세스?
      • 4.1.2 FastText의 장점은 무엇입니까?
    • 4.2 TextCnn
      • 4.2.1 텍스트 분류를 수행하는 TextCnn의 과정?
      • 4.2.2 TextCnn은 어떤 매개 변수를 조정할 수 있습니까?
      • 4.2.3 CNN을 텍스트 분류기로 사용하면 다른 채널이 텍스트에 해당하는 정보는 무엇입니까?
      • 4.2.4 TextCnn의 Convolution 커널의 길이와 너비는 무엇을 나타내나요?
      • 4.2.5 TextCNN의 풀링 작업과 일반 CNN의 풀링 작업의 차이점은 무엇입니까?
      • 4.2.6 TextCnn의 제한?
    • 4.3 DPCNN
      • 4.3.1 긴 텍스트 분류 작업을 해결하는 방법은 무엇입니까?
      • 4.3.2 TextCNN과 비교하여 DPCNN 모델의 개선 사항을 간략하게 소개합니까?
    • 4.4 Textrcnn
      • 4.4.1 TextCNN에 비해 TextrCNN의 개선 사항을 간단히 소개합니까?
    • 4.5 RNN+주의
      • 4.5.1 텍스트 분류 작업에 대한 RNN+주의에 대한 아이디어는 왜주의/주의 메커니즘을 추가해야합니까?
    • 4.6 GNN 그래프 신경망
      • 4.6.1 GNN 그래프 신경망은 텍스트 분류 분야에 어떻게 적용됩니까?
    • 4.7 변압기
      • 4.7.1 변압기를 기반으로 미리 훈련 된 모델을 텍스트 분류 필드에 적용하는 방법은 무엇입니까?
    • 4.8 미리 훈련 된 모델
      • 4.8.1 미리 훈련 된 모델은 무엇을 알고 있습니까? 그들의 특성은 무엇입니까?
  • V. 손실 기능
    • 5.1 활성화 기능 Sigmoid
      • 5.1.1 이진 분류 문제에 사용되는 활성화 기능 소개 Sigmoid?
      • 5.1.2 Sigmod의 단점은 무엇입니까?
    • 5.2 활성화 기능 SoftMax
      • 5.2.1 SoftMax 기능은 무엇입니까?
      • 5.2.2 SoftMax 함수의 파생물을 찾는 방법은 무엇입니까?
    • 5.3 분류 문제에 어떤 다른 손실 기능이 사용됩니까?
  • 6. 모델 평가 및 알고리즘 비교
    • 6.1 텍스트 분류 작업에 사용되는 평가 알고리즘 및 지표는 무엇입니까?
    • 6.2 혼동 매트릭스 및 카파에 대한 간단한 소개?

답을 보려면 클릭하십시오

• 텍스트 분류 트릭 일반적인 인터뷰
  • 1. 텍스트 분류 데이터를 전처리하는 방법은 무엇입니까?
  • 2. 텍스트 분류 미리 훈련 된 모델을 선택하는 방법은 무엇입니까?
  • 3. 텍스트 분류 매개 변수를 최적화하는 방법은 무엇입니까?
  • 4. 텍스트 분류의 어려운 작업은 무엇입니까?
  • 5. 텍스트 분류 라벨링 시스템의 구성?
  • 6. 텍스트 분류 전략 구성?

답을 보려면 클릭하십시오

• 검색 방법을 사용하여 텍스트 분류를 위해 일반적인 인터뷰를합니다.
  • 검색을 사용하여 텍스트를 분류 해야하는 이유는 무엇입니까?
  • 검색 방법을 기반으로 한 텍스트 분류 아이디어는 무엇입니까?
  • 검색된 방법에 대한 리콜 라이브러리를 구축하는 방법은 무엇입니까?
  • 검색 방법의 교육 단계를 수행하는 방법은 무엇입니까?
  • 검색 방법의 예측 단계를 수행하는 방법은 무엇입니까?
  • 검색 방법을 사용하여 텍스트 분류에 적용 가능한 시나리오는 무엇입니까?

답을 보려면 클릭하십시오

4.5 텍스트 일치에 대한 일반적인 인터뷰

• 텍스트 일치 모델 ESIM 일반적인 인터뷰
  • ESIM이 필요한 이유는 무엇입니까?
  • ESIM 모델을 소개하는 것은 어떻습니까?

답을 보려면 클릭하십시오

• 시맨틱 유사성 일치 작업에서 Bert에 대한 일반적인 인터뷰
  • 1. 문장 쌍 분류 작업 : CLS를 사용하십시오
  • 2. 코사인 유사성
  • 3. 길고 짧은 텍스트의 차이
  • 4. 문장/단어 임베딩
  • 5. 시암 네트워크 방법

답을 보려면 클릭하십시오

4.6 Q & A 시스템에 대한 일반적인 인터뷰

4.6.1 FAQ 검색 기반 Q & A 시스템에 대한 일반적인 인터뷰

• 1. 동기 부여
  • 1.1 Q & A 시스템의 동기 부여?
  • 1.2 Q & A 시스템은 무엇입니까?
• 2. FAQ 검색 기반 Q & A 시스템 소개
  • 2.1 FAQ 검색 기반 질문 및 답변 시스템은 무엇입니까?
  • 2.2 쿼리 일치 표준 QA의 핵심은 무엇입니까?
• 3. FAQ 검색 기반 Q & A 시스템 솔루션
  • 3.1 일반적으로 사용되는 솔루션은 무엇입니까?
  • 3.2 QQ가 더 일반적으로 사용되는 이유는 무엇입니까?
    • 3.2.1 QQ 매칭의 장점은 무엇입니까?
    • 3.2.2 QQ 매칭의 시맨틱 공간은 무엇입니까?
    • 3.2.3 QQ 매칭 코퍼스의 안정성은 무엇입니까?
    • 3.2.4 QQ 매칭 비즈니스 답변 및 알고리즘 모델의 분리는 무엇입니까?
    • 3.2.5 새로운 QQ 매칭 문제의 발견과 중복 제거는 무엇입니까?
    • 3.2.6 QQ 매칭의 온라인 달리기 속도는 얼마입니까?
  • 3.3 QQ 매칭의 일반적인 처리 프로세스는 무엇입니까? [표준 문제 은행이 처리되었다고 가정]
• 4. FAQ 표준 문제 은행의 건설
  • 4.1 FAQ에서 표준 문제를 찾는 방법은 무엇입니까?
  • 4.2 FAQ를 분할하는 방법?
  • 4.3 FAQ 병합 방법?
  • 4.4 FAQ 표준 라이브러리를 실시간으로 업데이트하는 방법은 무엇입니까?
• 5. FAQ 표준 질문 은행 답변 최적화
  • 5.1 FAQ 표준 질문 은행에 대한 답변을 최적화하는 방법은 무엇입니까?

답을 보려면 클릭하십시오

4.6.2 Q & A 시스템 도구 일반적인 인터뷰

• Faiss 일반적인 인터뷰
  • 1. 동기
    • 1.1 전통적인 유사성 알고리즘의 문제는 무엇입니까?
  • 2. 소개
    • 2.1 Faiss 란 무엇입니까?
    • 2.2 Faiss 사용 방법?
    • 2.3 FAISS 원리 및 핵심 알고리즘
  • 3. FAISS 실용 장
    • 3.1 Faiss를 설치하는 방법은 무엇입니까?
    • 3.2 FAISS의 인덱스 인덱스는 무엇입니까?
    • 3.3 Faiss 'Index Index를 사용하는 방법은 무엇입니까?
      • 3.3.1 데이터 준비
      • 3.3.2 폭력적인 미학 색인 indexflatl2
      • 3.3.3 Flash Indexivflat
      • 3.3.4 메모리 관리자 indexivfpq
    • 3.4 Faiss는 GPU를 사용합니까?
  • 4. FAISS 비교
    • 4.1 어느 것이 더 나은지, sklearn cosine_similarity 또는 faiss

4.7 대화 시스템에 대한 일반적인 인터뷰

• 대화 시스템에 대한 일반적인 인터뷰
  • 1. 대화 시스템 소개
    • 1.1 대화 시스템은 무엇입니까?
    • 1.2 이러한 대화 시스템의 차이점은 무엇입니까?
  • 2. 다중 라운드 대화 시스템 소개
    • 2.1 왜 멀티 라운드 대화 시스템을 사용합니까?
    • 2.2 일반적인 멀티 라운드 대화 시스템 솔루션은 무엇입니까?
  • 3. 작업 기반 대화 시스템 소개
    • 3.1 작업 기반 대화 시스템이란 무엇입니까?
    • 3.2 작업 기반 대화 시스템의 프로세스는 무엇입니까?
    • 3.3 작업 기반 대화 시스템 언어 이해 (SLU)
      • 3.3.1 언어 이해 (SLU) 란 무엇입니까?
      • 3.3.2 언어 이해 (SLU)의 입력 및 출력은 무엇입니까?
      • 3.3.3 언어 이해 (SLU)에 사용 된 기술은 무엇입니까?
    • 3.4 작업 기반 대화 시스템 DST (대화 상태 추적)
      • 3.4.1 DST 란 무엇입니까 (대화 상태 추적)?
      • 3.4.2 DST의 입력 및 출력 (대화 상태 추적)은 무엇입니까?
      • 3.4.3 DST (대화 상태 추적) 문제와 솔루션이 있습니까?
      • 3.4.4 DST의 구현 방법 (대화 상태 추적)은 무엇입니까?
    • 3.5 DPO (대화 전략 학습) 작업 기반 대화 시스템의 장
      • 3.5.1 DPO (Dialogue Strategy Learning) 란 무엇입니까?
      • 3.5.2 DPO의 입력 및 출력 (대화 전략 학습)은 무엇입니까?
      • 3.5.3 DPO의 구현 방법 (대화 전략 학습)은 무엇입니까?
    • 3.6 NLG (자연 언어 생성) 작업 기반 대화 시스템
      • 3.6.1 NLG (자연 언어 생성) 란 무엇입니까?
      • 3.6.2 NLG (자연 언어 생성)의 입력 및 출력은 무엇입니까?
      • 3.6.3 NLG (자연 언어 생성) 구현입니까?

답을 보려면 클릭하십시오

4.8 지식 그래프에 대한 일반적인 인터뷰

4.8.1 지식 그래프에 대한 일반적인 인터뷰

• 1. 지식 그래프 소개
  • 1.1 소개
  • 1.2 지식 그래프 란 무엇입니까?
    • 1.2.1 그래프 란 무엇입니까?
    • 1.2.2 스키마 란 무엇입니까?
  • 1.3 지식 그래프의 범주는 무엇입니까?
  • 1.4 지식 그래프의 가치는 무엇입니까?
• 2. 지식 그래프를 구축하는 방법?
  • 2.1 지식 그래프의 데이터는 어디에서 왔습니까?
  • 2.2 정보 추출의 어려움은 무엇입니까?
  • 2.3 지식 그래프 구축과 관련된 기술?
  • 2.4. 지식 그래프 구축을위한 특정 기술은 무엇입니까?
    • 2.4.1 지명 된 엔티티 인식
    • 2.4.2 관계 추출
    • 2.4.3 엔티티 해상도
    • 2.4.4는 명확성을 말합니다
• 3. 지식 그래프를 저장하는 방법?
• 4. 지식 그래프는 무엇을 할 수 있습니까?

답을 보려면 클릭하십시오

4.8.2 KBQA 일반적인 인터뷰

• 1. 사전 및 규칙에 따른 방법
  • 사전 및 규칙을 기반으로 KBQA를 구현 하시겠습니까?
  • 사전 및 규칙에 따라 KBQA 프로세스 구현?
• 2. 정보 추출에 기초한 방법
  • 정보 추출에 따라 KBQA 프로세스를 구현 하시겠습니까?

답을 보려면 클릭하십시오

4.8.3 NEO4J 일반적인 인터뷰

• 1. NEO4J 소개 및 설치
  • 1.1 소개
  • 1.2 Neo4J를 다운로드하는 방법은 무엇입니까?
  • 1.3 Neo4J를 설치하는 방법은 무엇입니까?
  • 1.4 NEO4J 웹 인터페이스 소개
  • 1.5 사이퍼 쿼리 언어는 무엇입니까?
• 2. NEO4J 추가, 삭제, 검색 및 수정
  • 2.1 소개
  • 2.2 Neo4J에서 노드를 만드는 방법은 무엇입니까?
  • 2.3 NEO4J에서 관계를 만드는 방법은 무엇입니까?
  • 2.4 NEO4J에서 출생지 관계를 만드는 방법은 무엇입니까?
  • 2.5 Neo4J를 쿼리하는 방법은 무엇입니까?
  • 2.6 Neo4J를 삭제하고 수정하는 방법은 무엇입니까?
• 3. Python을 사용하여 Neo4j 그래프 데이터베이스를 작동하는 방법은 무엇입니까?
  • 3.1 NEO4J 모듈 : CQL (Cypher) 문의 실행은 무엇입니까?
  • 3.2 PY2NEO 모듈은 무엇입니까?
• 4. 데이터 가져 오기 NEO4J 다이어그램 데이터베이스

답을 보려면 클릭하십시오

4.9 텍스트 요약 공통 인터뷰

• 1. 동기
  • 1.1 텍스트 요약은 무엇입니까?
  • 1.2 텍스트 요약 기술의 유형은 무엇입니까?
• 2. 추출 요약
  • 2.1 결정적인 요약을하는 방법은 무엇입니까?
    • 2.1.1 문장 중요성 평가 알고리즘은 무엇입니까?
    • 2.1.2 제약 기반 요약 생성 방법은 무엇입니까?
    • 2.1.3 TextTeaser 알고리즘은 요약을 어떻게 추출합니까?
    • 2.1.4 TexTrank 알고리즘은 어떻게 요약을 추출합니까?
  • 2.2 추출 된 요약의 가독성 문제는 무엇입니까?
• 3. 압축 요약
  • 3.1 압축 요약 방법은 무엇입니까?
• 4. 생성 요약
  • 4.1 생성 요약 방법은 무엇입니까?
  • 4.2 생성 요약의 문제는 무엇입니까?
  • 4.3 포인터 제너레이터 네트워크는 어떤 문제를 해결합니까?
• V. 추상 품질 평가 방법
  • 5.1 추상 품질 평가 방법의 유형은 무엇입니까?
  • 5.2 Rouge 란 무엇입니까?
  • 5.3 여러 루지 지표의 차이점은 무엇입니까?
  • 5.4 Bleu와 Rouge의 차이점은 무엇입니까?

답을 보려면 클릭하십시오

4.10 텍스트 오류 수정 기사 공통 인터뷰 기사

• 1. 소개
  • 1.1 텍스트 오류 수정이란 무엇입니까?
  • 1.2 일반적인 텍스트 오류 유형?
  • 1.3 텍스트 오류 수정을위한 일반적인 방법?
• 2. 파이프 라인 방법 소개
  • 파이프 라인에서 오류 감지를 구현하는 방법은 무엇입니까?
  • 파이프 라인에서 후보 리콜을 구현하는 방법은 무엇입니까?
  • 파이프 라인에서 오류 수정 정렬을 구현하는 방법은 무엇입니까?
  • 파이프 라인에서 ASR Echo 최적화를 구현하는 방법은 무엇입니까?

답을 보려면 클릭하십시오

4.11 텍스트 요약 공통 인터뷰

• 1. 동기
  • 1.1 텍스트 요약은 무엇입니까?
  • 1.2 텍스트 요약 기술의 유형은 무엇입니까?
• 2. 추출 요약
  • 2.1 결정적인 요약을하는 방법은 무엇입니까?
    • 2.1.1 문장 중요성 평가 알고리즘은 무엇입니까?
    • 2.1.2 제약 기반 요약 생성 방법은 무엇입니까?
    • 2.1.3 TextTeaser 알고리즘은 요약을 어떻게 추출합니까?
    • 2.1.4 TexTrank 알고리즘은 어떻게 요약을 추출합니까?
  • 2.2 추출 된 요약의 가독성 문제는 무엇입니까?
• 3. 압축 요약
  • 3.1 압축 요약 방법은 무엇입니까?
• 4. 생성 요약
  • 4.1 생성 요약 방법은 무엇입니까?
  • 4.2 생성 요약의 문제는 무엇입니까?
  • 4.3 포인터 제너레이터 네트워크는 어떤 문제를 해결합니까?
• V. 추상 품질 평가 방법
  • 5.1 추상 품질 평가 방법의 유형은 무엇입니까?
  • 5.2 Rouge 란 무엇입니까?
  • 5.3 여러 루지 지표의 차이점은 무엇입니까?
  • 5.4 Bleu와 Rouge의 차이점은 무엇입니까?

답을 보려면 클릭하십시오

4.12 텍스트 생성에 대한 일반적인 인터뷰

• 모델 생성을위한 디코딩 방법에 대한 일반적인 인터뷰
  • 생성 모델이란 무엇입니까?
  • 검색 기반 디코딩 방법은 무엇입니까?
  • 샘플링 기반 디코딩 방법은 무엇입니까?

답을 보려면 클릭하십시오

3. 딥 러닝 알고리즘 일반 인터뷰

• CNN 일반적인 인터뷰
  • 1. 동기
  • 2. CNN 컨볼 루션 층
    • 2.1 컨볼 루션 층의 본질은 무엇입니까?
    • 2.2 CNN Convolutional 레이어와 완전히 연결된 층 간의 연결은 무엇입니까?
    • 2.3 채널은 무엇을 의미합니까?
  • 3. CNN 풀링 층
    • 3.1이 지역의 풀링 레이어는 무엇입니까?
    • 3.2 풀링 레이어의 유형은 무엇입니까?
    • 3.3 풀링 층의 기능은 무엇입니까?
    • 3.4 풀링 층의 역전은 무엇입니까?
    • 3.5 백 발포와 같은 의미는 무엇입니까?
    • 3.6 풀링 층의 역전은 무엇입니까?
  • 4. 전체적으로 CNN
    • 4.1 CNN의 과정은 무엇입니까?
    • 4.2 CNN의 특성은 무엇입니까?
    • 4.3 Convolutional Neural Network는 왜 번역 불변성을 가지고 있습니까?
    • 4.4 Convolutional Neural Network에서 IM2Col은 어떻게 구현됩니까?
    • 4.5 CNN의 한계는 무엇입니까?
  • 5. 확장 된 CNN 반복
    • 5.1 확장 된 CNN void convolution 란 무엇입니까?
    • 5.2 반복 된 확장 된 CNN은 무엇입니까?
  • 6. Deconvolution
    • 6.1 Deconvolution의 원리와 사용을 설명합니까?

답을 보려면 클릭하십시오

• RNN 일반적인 인터뷰
  • 1. RNN
    • 1.2 왜 RNN이 필요한가요?
    • 1.2 RNN 구조는 무엇입니까?
    • 1.3 RNN 포워드 계산 공식?
    • 1.4 RNN의 문제는 무엇입니까?
  • 2. 긴 단기 메모리 네트워크 (LSTM)
    • 2.1 왜 lstm이 필요한가요?
    • 2.2 LSTM의 구조는 무엇입니까?
    • 2.3 LSTM은 RNN 그라디언트 소실 및 그라디언트 폭발의 문제를 어떻게 완화합니까?
    • 2.3 LSTM의 과정은 무엇입니까?
    • 2.4 LSTM의 활성화 기능의 차이점은 무엇입니까?
    • 2.5 LSTM 복잡성?
    • 2.6 LSTM은 어떤 문제가 있습니까?
  • 3. Gru (Gated Reburrent Unit)
    • 3.1 왜 Gru가 필요합니까?
    • 3.2 Gru의 구조는 무엇입니까?
    • 3.3 GRU의 전진 계산?
    • 3.4 GRU와 다른 RNN 시리즈 모델의 차이점은 무엇입니까?
  • 4. RNN 시리즈 모델
    • 4.1 RNN 시리즈 모델의 특성은 무엇입니까?

답을 보려면 클릭하십시오

• 주목 일반적인 인터뷰
  • 1. Seq2seq
    • 1.1 seq2seq (Encoder-decoder) 란 무엇입니까?
    • 1.2 Seq2Seq의 인코더는 어떻습니까?
    • 1.3 Seq2Seq의 디코더는 어떻습니까?
    • 1.4 수학적 관점에서 seq2seq를 알고 있습니까?
    • 1.5 SEQ2Seq는 어떤 문제가 있습니까?
  • 2.주의
    • 2.1주의 란 무엇입니까?
    • 2.2주의 메커니즘이 도입됩니까?
    • 2.3주의 기능은 무엇입니까?
    • 2.4주의 과정은 무엇입니까?
      • 1 단계 인코더를 실행하려면 (SEQ2SEQ와 일치)
      • 2 단계 정렬 계수 a
      • 3 단계 : 컨텍스트 시맨틱 벡터 c
      • 4 단계 디코더 상태를 업데이트하십시오
      • 5 단계 출력 예측 단어를 계산합니다
    • 2.5주의의 응용 영역은 무엇입니까?
  • 3.주의 변형
    • 3.1 부드러운 관심은 무엇입니까?
    • 3.2 어려운 관심은 무엇입니까?
    • 3.3 세계적인 관심은 무엇입니까?
    • 3.4 지역의 관심은 무엇입니까?
    • 3.5 자기 정보는 무엇입니까?

답을 보려면 클릭하십시오

• 적대적 네트워크 GAN 일반적인 인터뷰 생성
  • 1. 동기 부여
  • 2. 소개
    • 2.1 간의 기본 아이디어
    • 2.2간에 대한 기본 소개
      • 2.2.1 간의 기본 구조
      • 2.2.2 간의 기본 아이디어
  • 3. 훈련
    • 3.1 발전기 소개
    • 3.2 판별 자 소개
    • 3.3 训练过程
    • 3.4 训练所涉及相关理论基础
  • 四、总结

点击查看答案

3.1 Transformer 常见面试篇

• Transformer 常见面试篇
  • 一、动机篇
    • 1.1 为什么要有Transformer?
    • 1.2 Transformer 作用是什么？
  • 二、整体结构篇
    • 2.1 Transformer 整体结构是怎么样？
    • 2.2 Transformer-encoder 结构怎么样？
    • 2.3 Transformer-decoder 结构怎么样?
  • 三、模块篇
    • 3.1 self-attention 模块
      • 3.1.1 传统attention 是什么?
      • 3.1.2 为什么会有self-attention?
      • 3.1.3 self-attention 的核心思想是什么?
      • 3.1.4 self-attention 的目的是什么?
      • 3.1.5 self-attention 的怎么计算的?
      • 3.1.6 self-attention 为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？
      • 3.1.7 为什么采用点积模型的self-attention 而不采用加性模型？
      • 3.1.8 Transformer 中在计算self-attention 时为什么要除以 $sqrt{d}$ ?
      • 3.1.9 self-attention 如何解决长距离依赖问题？
      • 3.1.10 self-attention 如何并行化？
    • 3.2 multi-head attention 模块
      • 3.2.1 multi-head attention 的思路是什么样?
      • 3.2.2 multi-head attention 的步骤是什么样?
      • 3.2.3 Transformer为何使用多头注意力机制？（为什么不使用一个头）
      • 3.2.4 为什么在进行多头注意力的时候需要对每个head进行降维？
      • 3.2.5 multi-head attention 代码介绍
    • 3.3 位置编码（Position encoding）模块
      • 3.3.1 为什么要加入位置编码（Position encoding） ？
      • 3.3.2 位置编码（Position encoding）的思路是什么？
      • 3.3.3 位置编码（Position encoding）的作用是什么？
      • 3.3.4 位置编码（Position encoding）的步骤是什么？
      • 3.3.5 Position encoding为什么选择相加而不是拼接呢？
      • 3.3.6 Position encoding和Position embedding的区别？
      • 3.3.7 为何17年提出Transformer时采用的是Position Encoder 而不是Position Embedding？而Bert却采用的是Position Embedding ？
      • 3.3.8 位置编码（Position encoding）的代码介绍
    • 3.4 残差模块模块
      • 3.4.1 为什么要加入残差模块？
    • 3.5 Layer normalization 模块
      • 3.5.1 为什么要加入Layer normalization 模块？
      • 3.5.2 Layer normalization 模块的是什么？
      • 3.5.3 Batch normalization 和Layer normalization 的区别？
      • 3.5.4 Transformer 中为什么要舍弃Batch normalization 改用Layer normalization 呢?
      • 3.5.5 Layer normalization 模块代码介绍
    • 3.6 Mask 模块
      • 3.6.1 什么是Mask？
      • 3.6.2 Transformer 中用到几种Mask？
      • 3.6.3 能不能介绍一下Transformer 中用到几种Mask？

点击查看答案

• 【关于Transformer 问题及改进】那些你不知道的事
  • 一、Transformer 问题篇
    • 1.1 既然Transformer 怎么牛逼，是否还存在一些问题？
  • 二、每个问题的解决方法是什么？
    • 2.1 问题一：Transformer 不能很好的处理超长输入问题
      • 2.1.1 Transformer 固定了句子长度？
      • 2.1.2 Transformer 固定了句子长度的目的是什么？
      • 2.1.3 Transformer 针对该问题的处理方法？
    • 2.2 问题二：Transformer 方向信息以及相对位置的缺失问题
    • 2.3 问题三：缺少Recurrent Inductive Bias
    • 问题四：问题四：Transformer是非图灵完备的： 非图灵完备通俗的理解，就是无法解决所有的问题
    • 问题五：transformer缺少conditional computation；
    • 问题六：transformer 时间复杂度和空间复杂度过大问题；

五、NLP 技巧面

5.1 少样本问题面

5.1.1 数据增强（EDA） 面试篇

• 一、动机篇
  • 1.1 什么是数据增强？
  • 1.2 为什么需要数据增强？
• 二、常见的数据增强方法篇
  • 2.1 词汇替换篇
    • 2.1.1 什么是基于词典的替换方法？
    • 2.1.2 什么是基于词向量的替换方法？
    • 2.1.3 什么是基于MLM 的替换方法？
    • 2.1.4 什么是基于TF-IDF 的词替换？
  • 2.2 词汇插入篇
    • 2.2.1 什么是随机插入法？
  • 2.3 词汇交换篇
    • 2.3.1 什么是随机交换法？
  • 2.4 词汇删除篇
    • 2.4.1 什么是随机删除法？
  • 2.5 回译篇
    • 2.5.1 什么是回译法？
  • 2.6 交叉增强篇
    • 2.6.1 什么是交叉增强篇
  • 2.7 语法树篇
    • 2.7.1 什么是语法树操作？
  • 2.8 对抗增强篇
    • 2.8.1 什么是对抗增强？

点击查看答案

5.1.2 主动学习面试篇

• 一、动机篇
  • 1.1 主动学习是什么？
  • 1.2 为什么需要主动学习？
• 二、主动学习篇
  • 2.1 主动学习的思路是什么？
  • 2.2 主动学习方法的价值点在哪里？
• 三、样本选取策略篇
  • 3.1 以未标记样本的获取方式的差别进行划分
  • 3.2 测试集内选取“信息”量最大的数据标记
    • 3.2.1 测试集内选取“信息”量最大的数据标记
    • 3.2.2 依赖不确定度的样本选取策略（Uncertainty Sampling, US）
    • 3.2.3 基于委员会查询的方法（Query-By-Committee，QBC）

点击查看答案

5.1.3 数据增强之对抗训练面试篇

• 一、介绍篇
  • 1.1 什么是对抗训练？
  • 1.2 为什么对抗训练能够提高模型效果？
  • 1.3 对抗训练有什么特点？
  • 1.4 对抗训练的作用?
• 二、概念篇
  • 2.1 对抗训练的基本概念?
  • 2.2 如何计算扰动?
  • 2.3 如何优化?
• 三、实战篇
  • 3.1 NLP 中经典对抗训练之Fast Gradient Method（FGM）
  • 3.2 NLP 中经典对抗训练之Projected Gradient Descent（PGD）

点击查看答案

5.2 “脏数据”处理面试篇

• 一、动机
  • 1.1 何为“脏数据”？
  • 1.2 “脏数据” 会带来什么后果？
• 二、“脏数据” 处理篇
  • 2.1 “脏数据” 怎么处理呢？
  • 2.2 置信学习方法篇
    • 2.2.1 什么是置信学习方法？
    • 2.2.2 置信学习方法优点？
    • 2.2.3 置信学习方法怎么做？
    • 2.2.4 置信学习方法怎么用？有什么开源框架？
    • 2.2.5 置信学习方法的工作原理？

点击查看答案

5.3 batch_size设置面试篇

• 一、训练模型时，batch_size的设置，学习率的设置?

点击查看答案

5.4 早停法EarlyStopping 面试篇

• 一、 为什么要用早停法EarlyStopping？
• 二、 早停法EarlyStopping 是什么？
• 三、早停法torch 版本怎么实现？

点击查看答案

5.5 标签平滑法LabelSmoothing 面试篇

• 一、为什么要有标签平滑法LabelSmoothing？
• 二、 标签平滑法是什么？
• 三、 标签平滑法torch 怎么复现？

点击查看答案

5.6 Bert Trick 面试篇

5.6.1 Bert 未登录词处理面试篇

• 什么是Bert 未登录词？
• Bert 未登录词如何处理？
• Bert 未登录词各种处理方法有哪些优缺点？

点击查看答案

5.6.2 BERT在输入层引入额外特征面试篇

• BERT在输入层如何引入额外特征？

点击查看答案

5.6.3 关于BERT 继续预训练面试篇

• 什么是继续预训练？
• 为什么会存在【数据分布/领域差异】大问题？
• 如何进行继续预训练？
• 还有哪些待解决问题？
• 训练数据问题解决方案？
• 知识缺乏问题解决方案？
• 知识理解缺乏问题解决方案？

点击查看答案

5.6.4 BERT如何处理篇章级长文本面试篇

• 为什么Bert 不能处理长文本？
• BERT 有哪些处理篇章级长文本?

点击查看答案

六、 Prompt Tuning 面试篇

6.1 Prompt 面试篇

1. 什么是prompt？
2. 如何设计prompt？
3. prompt进阶——如何自动学习prompt？
4. Prompt 有哪些关键要点？
5. Prompt 如何实现？

点击查看答案

6.2 Prompt 文本生成面试篇

1. Prompt之文本生成评估手段有哪些？
2. Prompt文本生成具体任务有哪些？

点击查看答案

6.3 LoRA 面试篇

1. 什么是lora？
2. lora 是怎么做的呢？
3. lora 为什么可以这样做？
4. 用一句话描述lora？
5. lora 优点是什么？
6. lora 缺点是什么？
7. lora 如何实现？

点击查看答案

6.4 PEFT（State-of-the-art Parameter-Efficient Fine-Tuning）面试篇

• 一、微调Fine-tuning 篇
  • 1.1 什么是微调Fine-tuning ？
  • 1.2 微调Fine-tuning 基本思想是什么？
• 二、轻度微调（lightweight Fine-tuning）篇
  • 2.1 什么是轻度微调（lightweight Fine-tuning）？
• 三、适配器微调（Adapter-tuning）篇
  • 3.1 什么是适配器微调（Adapter-tuning）？
  • 3.2 适配器微调（Adapter-tuning）变体有哪些？
• 四、提示学习（Prompting）篇
  • 4.1 什么是提示学习（Prompting）？
  • 4.2 提示学习（Prompting）的目的是什么？
  • 4.3 提示学习（Prompting） 代表方法有哪些？
    • 4.3.1 前缀微调（Prefix-tining）篇
      • 4.3.1.1 什么是前缀微调（Prefix-tining）？
      • 4.3.1.2 前缀微调（Prefix-tining）的核心是什么？
      • 4.3.1.3 前缀微调（Prefix-tining）的技术细节有哪些？
      • 4.3.1.4 前缀微调（Prefix-tining）的优点是什么？
      • 4.3.1.5 前缀微调（Prefix-tining）的缺点是什么？
    • 4.3.2 指示微调（Prompt-tuning）篇
      • 4.3.2.1 什么是指示微调（Prompt-tuning）？
      • 4.3.2.2 指示微调（Prompt-tuning）的核心思想？
      • 4.3.2.3 指示微调（Prompt-tuning）的优点/贡献是什么？
      • 4.3.2.4 指示微调（Prompt-tuning）的缺点是什么？
      • 4.3.2.5 指示微调（Prompt-tuning）与Prefix-tuning 区别是什么？
      • 4.3.2.6 指示微调（Prompt-tuning）与fine-tuning 区别是什么？
    • 4.3.3 P-tuning 篇
      • 4.3.3.1 P-tuning 动机是什么？
      • 4.3.3.2 P-tuning 核心思想是什么？
      • 4.3.3.3 P-tuning 做了哪些改进？
      • 4.3.3.4 P-tuning 有哪些优点/贡献？
      • 4.3.3.5 P-tuning 有哪些缺点？
    • 4.3.4 P-tuning v2 篇
      • 4.3.4.1 为什么需要P-tuning v2？
      • 4.3.4.2 P-tuning v2 是什么？
      • 4.3.4.3 P-tuning v2 有哪些优点？
      • 4.3.4.4 P-tuning v2 有哪些缺点？
    • 4.3.5 PPT 篇
      • 4.3.5.1 为什么需要PPT ？
      • 4.3.5.2 PPT 核心思想是什么？
      • 4.3.5.3 PPT 具体做法是怎么样？
      • 4.3.5.4 常用的soft prompt初始化方法？
      • 4.3.5.5 PPT 的优点是什么？
      • 4.3.5.6 PPT 的缺点是什么？
  • 4.4 提示学习（Prompting） 优点是什么？
  • 4.5 提示学习（Prompting） 本质是什么？
• 五、指令微调（Instruct-tuning）篇
  • 5.1 为什么需要指令微调（Instruct-tuning）？
  • 5.2 指令微调（Instruct-tuning）是什么？
  • 5.3 指令微调（Instruct-tuning）的优点是什么？
  • 5.4 指令微调（Instruct-tuning） vs 提升学习（Prompting）？
  • 5.5 指令微调（Instruct-tuning） vs 提升学习（Prompting） vs Fine-tuning？
• 六、指令提示微调（Instruct Prompt tuning）篇
  • 6.1 为什么需要指令微调（Instruct-tuning）？
  • 6.2 指令微调（Instruct-tuning） 是什么？
  • 6.3 指令微调（Instruct-tuning） 在不同任务上性能？
• 七、self-instruct篇
  • 7.1 什么是self-instruct？
• 八、Chain-of-Thought 篇
  • 8.1 为什么需要Chain-of-Thought ？
  • 8.2 什么是Chain-of-Thought ？
  • 8.3 Chain-of-Thought 的思路是怎么样的？
  • 8.4 Chain-of-Thought 的优点是什么？
  • 8.5 为什么chain-of-thought 会成功？
• 九、LoRA 篇
  • 9.1 LoRA 篇
    • 9.1.1 LoRA 核心思想是什么？
    • 9.1.2 LoRA 具体思路是什么？
    • 9.1.3 LoRA 优点是什么？
    • 9.1.4 LoRA 缺点是什么？
  • 9.2 AdaLoRA 篇
    • 9.2.1 AdaLoRA 核心思想是什么？
    • 9.2.2 AdaLoRA 实现思路是什么？
  • 9.3 DyLoRA 篇
    • 9.3.1 AdaLoRA 动机是什么？
    • 9.3.2 AdaLoRA 核心思想是什么？
    • 9.3.3 AdaLoRA 优点是什么？
• 十、BitFit 篇
  • 10.1 AdaLoRA 核心思想是什么？
  • 10.2 AdaLoRA 优点是什么？
  • 10.3 AdaLoRA 缺点是什么？

点击查看答案

七、LLMs 面试篇

7.1 【现在达模型LLM，微调方式有哪些？各有什么优缺点？

• 现在达模型LLM，微调方式有哪些？各有什么优缺点？

点击查看答案

7.2 GLM：ChatGLM的基座模型常见面试题

• GLM 的核心是什么？
• GLM 的模型架构是什么？
• GLM 如何进行多任务训练？
• 在进行NLG 时， GLM 如何保证生成长度的未知性？
• GLM 的多任务微调方式有什么差异？
• GLM 的多任务微调方式有什么优点？

点击查看答案

一、基础算法常见面试篇

• 过拟合和欠拟合常见面试篇
  • 一、过拟合和欠拟合是什么？
  • 二、过拟合/高方差（overfiting / high variance）篇
    • 2.1 过拟合是什么及检验方法？
    • 2.2 导致过拟合的原因是什么？
    • 2.3 过拟合的解决方法是什么？
  • 三、欠拟合/高偏差（underfiting / high bias）篇
    • 3.1 欠拟合是什么及检验方法？
    • 3.2 导致欠拟合的原因是什么？
    • 3.3 过拟合的解决方法是什么？

点击查看答案

• BatchNorm vs LayerNorm 常见面试篇
  • 一、动机篇
    • 1.1 独立同分布（independent and identically distributed）与白化
    • 1.2 （ Internal Covariate Shift，ICS）
    • 1.3 ICS问题带来的后果是什么？
  • 二、Normalization 篇
    • 2.1 Normalization 的通用框架与基本思想
  • 三、Batch Normalization 篇
    • 3.1 Batch Normalization（纵向规范化）是什么？
    • 3.2 Batch Normalization（纵向规范化）存在什么问题？
    • 3.3 Batch Normalization（纵向规范化）适用的场景是什么？
    • 3.4 BatchNorm 存在什么问题？
  • 四、Layer Normalization（横向规范化） 篇
    • 4.1 Layer Normalization（横向规范化）是什么？
    • 4.2 Layer Normalization（横向规范化）有什么用？
  • 五、BN vs LN 篇
  • 六、主流Normalization 方法为什么有效？

点击查看答案

• 激活函数常见面试篇

  • 一、动机篇
    • 1.1 为什么要有激活函数？
  • 二、激活函数介绍篇
    • 2.1 sigmoid 函数篇
      • 2.1.1 什么是sigmoid 函数？
      • 2.1.2 为什么选sigmoid 函数作为激活函数？
      • 2.1.3 sigmoid 函数有什么缺点？
    • 2.2 tanh 函数篇
      • 2.2.1 什么是tanh 函数？
      • 2.2.2 为什么选tanh 函数作为激活函数？
      • 2.2.3 tanh 函数有什么缺点？
    • 2.3 relu 函数篇
      • 2.3.1 什么是relu 函数？
      • 2.3.2 为什么选relu 函数作为激活函数？
      • 2.3.3 relu 函数有什么缺点？
  • 三、激活函数选择篇

• 正则化常见面试篇

  • 一、L0，L1，L2正则化篇
    • 1.1 正则化是什么？
    • 1.2 什么是L0 正则化？
    • 1.3 什么是L1 （稀疏规则算子Lasso regularization）正则化？
    • 1.4 什么是L2 正则化（岭回归Ridge Regression 或者权重衰减Weight Decay）正则化？
  • 二、对比篇
    • 2.1 什么是结构风险最小化？
    • 2.2 从结构风险最小化的角度理解L1和L2正则化
    • 2.3 L1 vs L2
  • 三、dropout 篇
    • 3.1 什么是dropout？
    • 3.2 dropout 在训练和测试过程中如何操作？
    • 3.3 dropout 如何防止过拟合?

点击查看答案

• 优化算法及函数常见面试篇
  • 一、动机篇
    • 1.1 为什么需要优化函数？
    • 1.2 优化函数的基本框架是什么?
  • 二、优化函数介绍篇
    • 2.1 梯度下降法是什么?
    • 2.2 随机梯度下降法是什么?
    • 2.3 Momentum 是什么?
    • 2.4 SGD with Nesterov Acceleration 是什么?
    • 2.5 Adagrad 是什么?
    • 2.6 RMSProp/AdaDelta 是什么？
    • 2.7 Adam 是什么?
    • 2.8 Nadam 是什么?
  • 三、优化函数学霸笔记篇

点击查看答案

• 归一化常见面试篇
  • 一、动机篇
    • 1.1 为什么要归一化？
  • 二、介绍篇
    • 2.1 归一化有哪些方法？
    • 2.2 归一化各方法特点？
    • 2.3 归一化的意义？
  • 三、应用篇
    • 3.1 哪些机器学习算法需要做归一化？
    • 3.2 哪些机器学习算法不需要做归一化？

点击查看答案

• 判别式（discriminative）模型vs. 生成式(generative)模型常见面试篇
  • 一、判别式模型篇
    • 1.1 什么是判别式模型？
    • 1.2 判别式模型是思路是什么？
    • 1.3 判别式模型的优点是什么？
  • 二、生成式模型篇
    • 2.1 什么是生成式模型？
    • 2.2 生成式模型是思路是什么？
    • 2.3 生成式模型的优点是什么？
    • 2.4 生成式模型的缺点是什么？

点击查看答案

二、机器学习算法篇常见面试篇

• 逻辑回归常见面试篇
  • 一、介绍篇
    • 1.1什么是逻辑回归
    • 1.2逻辑回归的优势
  • 二、推导篇
    • 2.1逻辑回归推导
    • 2.2求解优化

点击查看答案

• 支持向量机常见面试篇
  • 一、原理篇
    • 1.1 什么是SVM？
      • QA
    • 1.2 SVM怎么发展的？
    • 1.3 SVM存在什么问题？
      • QA
  • 二、算法篇
    • 2.1 什么是块算法？
    • 2.2 什么是分解算法？
    • 2.3 什么是序列最小优化算法？
    • 2.4 什么是增量算法？
      • QA
  • 三、其他SVM篇
    • 3.1 什么是最小二次支持向量机？
    • 3.2 什么是模糊支持向量机？
    • 3.3 什么是粒度支持向量机？
    • 3.4 什么是多类训练算法？
    • 3.5 什么是孪生支持向量机？
    • 3.6 什么是排序支持向量机？
      • QA
  • 四、应用篇
    • 4.1 模式识别
    • 4.2 网页分类
    • 4.3 系统建模与系统辨识
    • 4.4 其他
  • 五、对比篇
  • 六、拓展篇

点击查看答案

• 集成学习常见面试篇
  • 一、动机
  • 二、集成学习介绍篇
    • 2.1 介绍篇
      • 2.1.1 集成学习的基本思想是什么？
      • 2.1.2 集成学习为什么有效？
  • 三、 Boosting 篇
    • 3.1 用一句话概括Boosting？
    • 3.2 Boosting 的特点是什么？
    • 3.3 Boosting 的基本思想是什么？
    • 3.4 Boosting 的特点是什么？
    • 3.5 GBDT 是什么？
    • 3.6 Xgboost 是什么？
  • 四、Bagging 篇
    • 4.1 用一句话概括Bagging？
    • 4.2 Bagging 的特点是什么？
    • 4.3 Bagging 的基本思想是什么？
    • 4.4 Bagging 的基分类器如何选择？
    • 4.5 Bagging 的优点是什么？
    • 4.6 Bagging 的特点是什么？
    • 4.7 随机森林是什么？
  • 五、 Stacking 篇
    • 5.1 用一句话概括Stacking ？
    • 5.2 Stacking 的特点是什么？
    • 5.3 Stacking 的基本思路是什么？
  • 六、常见问题篇
    • 6.1 为什么使用决策树作为基学习器？
    • 6.2 为什么不稳定的学习器更适合作为基学习器？
    • 6.3 哪些模型适合作为基学习器？
    • 6.4 Bagging 方法中能使用线性分类器作为基学习器吗？ Boosting 呢？
    • 6.5 Boosting/Bagging 与偏差/方差的关系？
  • 七、对比篇
    • 7.1 LR vs GBDT?

点击查看答案

九、【关于Python 】那些你不知道的事

• 【关于Python 】那些你不知道的事
  • 一、什么是*args 和**kwargs？
    • 1.1 为什么会有*args 和**kwargs？
    • 1.2 *args 和**kwargs 的用途是什么？
    • 1.3 *args 是什么？
    • 1.4 **kwargs是什么？
    • 1.5 *args 与**kwargs 的区别是什么？
  • 二、什么是装饰器？
    • 2.1 装饰器是什么？
    • 2.2 装饰器怎么用？
  • 三、Python垃圾回收（GC）
    • 3.1 垃圾回收算法有哪些？
    • 3.2 引用计数（主要）是什么？
    • 3.3 标记-清除是什么？
    • 3.4 分代回收是什么？
  • 四、python的sorted函数对字典按key排序和按value排序
    • 4.1 python 的sorted函数是什么？
    • 4.2 python 的sorted函数举例说明？
  • 五、直接赋值、浅拷贝和深度拷贝
    • 5.1 概念介绍
    • 5.2 介绍
    • 5.3 变量定义流程
    • 5.3 赋值
    • 5.4 浅拷贝
    • 5.5 深度拷贝
    • 5.6 核心：不可变对象类型and 可变对象类型
      • 5.6.1 不可变对象类型
      • 5.6.2 可变对象类型
  • 六、进程、线程、协程
    • 6.1 进程
      • 6.1.1 什么是进程？
      • 6.1.2 进程间如何通信？
    • 6.2 线程
      • 6.2.1 什么是线程？
      • 6.2.2 线程间如何通信？
    • 6.3 进程vs 线程
      • 6.3.1 区别
      • 6.3.2 应用场景
    • 6.4 协程
      • 6.4.1 什么是协程？
      • 6.4.2 协程的优点？
  • 七、全局解释器锁
    • 7.1 什么是全局解释器锁？
    • 7.2 GIL有什么作用？
    • 7.3 GIL有什么影响？
    • 7.4 如何避免GIL带来的影响？

十、【关于Tensorflow 】那些你不知道的事

• 【关于Tensorflow 损失函数】 那些你不知道的事
  • 一、动机
  • 二、什么是损失函数？
  • 三、目标函数、损失函数、代价函数之间的关系与区别？
  • 四、损失函数的类别
    • 4.1 回归模型的损失函数
      • （1）L1正则损失函数（即绝对值损失函数）
      • （2）L2正则损失函数（即欧拉损失函数）
      • （3）均方误差（MSE, mean squared error）
      • （4）Pseudo-Huber 损失函数
    • 4.2 分类模型的损失函数
      • （1）Hinge损失函数
      • （2）两类交叉熵（Cross-entropy）损失函数
      • （3）Sigmoid交叉熵损失函数
      • （4）加权交叉熵损失函数
      • （5）Softmax交叉熵损失函数
      • (6) SparseCategoricalCrossentropy vs sparse_categorical_crossentropy
  • 5. 요약