NLP Interview Notes

NLP 面無不過

介紹：本項目是作者們根據個人面試和經驗總結出的自然語言處理(NLP)面試準備的學習筆記與資料，該資料目前包含自然語言處理各領域的面試題積累。

> NLP 面無不過面試交流群(注：人滿可添加小編wx：yzyykm666 加群！)

四、NLP 學習算法常見面試篇

4.1 信息抽取常見面試篇

4.1.1 命名實體識別常見面試篇

• 隱馬爾科夫算法HMM 常見面試篇
  • 一、基礎信息介紹篇
    • 1.1 什麼是概率圖模型？
    • 1.2 什麼是隨機場？
  • 二、馬爾可夫過程介紹篇
    • 2.1 什麼是馬爾可夫過程？
    • 2.2 馬爾可夫過程的核心思想是什麼？
  • 三、隱馬爾科夫算法篇
    • 3.1 隱馬爾科夫算法介紹篇
      • 3.1.1 隱馬爾科夫算法是什麼？
      • 3.1.2 隱馬爾科夫算法中兩個序列是什麼？
      • 3.1.3 隱馬爾科夫算法中三個矩陣是什麼？
      • 3.1.4 隱馬爾科夫算法中兩個假設是什麼？
      • 3.1.5 隱馬爾科夫算法中工作流程是什麼？
    • 3.2 隱馬爾科夫算法模型計算過程篇
      • 3.2.1 隱馬爾科夫算法學習訓練過程是什麼樣的？
      • 3.2.2 隱馬爾科夫算法序列標註（解碼）過程是什麼樣的？
      • 3.2.3 隱馬爾科夫算法序列概率過程是什麼樣的？
    • 3.3 隱馬爾科夫算法問題篇

點擊查看答案

• 最大熵馬爾科夫模型MEMM 常見面試篇
  • 四、最大熵馬爾科夫模型（MEMM）篇
    • 4.1 最大熵馬爾科夫模型（MEMM）動機篇
      • 4.1.1 HMM 存在什麼問題？
    • 4.2 最大熵馬爾科夫模型（MEMM）介紹篇
      • 4.2.1 最大熵馬爾科夫模型（MEMM） 是什麼樣？
      • 4.2.2 最大熵馬爾科夫模型（MEMM） 如何解決HMM 問題？
    • 4.3 最大熵馬爾科夫模型（MEMM）問題篇

點擊查看答案

• 條件隨機場（CRF） 常見面試篇
  • 五、條件隨機場（CRF）篇
    • 5.1 CRF 動機篇
      • 5.1.1 HMM 和MEMM 存在什麼問題？
    • 5.2 CRF 介紹篇
      • 5.2.1 什麼是CRF?
      • 5.2.2 CRF 的主要思想是什麼？
      • 5.2.3 CRF 的定義是什麼?
      • 5.2.4 CRF 的流程是什麼？
    • 5.3 CRF 優缺點篇
      • 5.3.1 CRF 的優點在哪裡？
      • 5.3.2 CRF 的缺點在哪裡？
    • 5.4 CRF 復現？
  • 六、對比篇
    • 6.1 CRF模型和HMM和MEMM模型區別？

點擊查看答案

• DNN-CRF 常見面試篇
  • 一、基本信息
    • 1.1 命名實體識別評價指標是什麼？
  • 二、傳統的命名實體識別方法
    • 2.1 基於規則的命名實體識別方法是什麼？
    • 2.2 基於無監督學習的命名實體識別方法是什麼？
    • 2.3 基於特徵的監督學習的命名實體識別方法是什麼？
  • 三、基於深度學習的命名實體識別方法
    • 3.1 基於深度學習的命名實體識別方法相比於基於機器學習的命名實體識別方法的優點？
    • 3.2 基於深度學習的命名實體識別方法的結構是怎麼樣？
    • 3.3 分佈式輸入層是什麼，有哪些方法？
    • 3.4 文本編碼器篇
      • 3.4.1 BiLSTM-CRF 篇
        • 3.4.1.1 什麼是BiLSTM-CRF？
        • 3.4.1.2 為什麼要用BiLSTM？
      • 3.4.2 IDCNN-CRF 篇
        • 3.4.2.1 什麼是Dilated CNN？
        • 3.4.2.2 為什麼會有Dilated CNN？
        • 3.4.2.3 Dilated CNN 的優點？
        • 3.4.2.4 IDCNN-CRF 介紹
    • 3.5 標籤解碼器篇
      • 3.5.1 標籤解碼器是什麼？
      • 3.5.2 MLP+softmax層介紹？
      • 3.5.3 條件隨機場CRF層介紹？
      • 3.5.4 循環神經網絡RNN層介紹？
      • 3.5.3 指針網路層介紹？
  • 四、對比篇
    • 4.1 CNN-CRF vs BiLSTM-CRF vs IDCNN-CRF?
    • 4.2 為什麼DNN 後面要加CRF?
    • 4.3 CRF in TensorFlow VS CRF in discrete toolkit？

點擊查看答案

• 中文領域NER 常見面試篇
  • 一、動機篇
    • 1.1 中文命名實體識別與英文命名實體識別的區別？
  • 二、詞彙增強篇
    • 2.1 什麼是詞彙增強？
    • 2.2 為什麼說「詞彙增強」 方法對於中文NER 任務有效呢？
    • 2.3 詞彙增強方法有哪些？
    • 2.4 Dynamic Architecture
      • 2.4.1 什麼是Dynamic Architecture？
      • 2.4.2 常用方法有哪些？
      • 2.4.3 什麼是Lattice LSTM ，存在什麼問題？
      • 2.4.4 什麼是FLAT ，存在什麼問題？
    • 2.5 Adaptive Embedding 範式
      • 2.5.1 什麼是Adaptive Embedding 範式？
      • 2.5.2 常用方法有哪些？
      • 2.5.3 什麼是WC-LSTM ，存在什麼問題？
  • 三、詞彙/實體類型信息增強篇
    • 3.1 什麼是詞彙/實體類型信息增強？
    • 3.2 為什麼說「詞彙/實體類型信息增強」 方法對於中文NER 任務有效呢？
    • 3.3 詞彙/實體類型信息增強方法有哪些？
    • 3.4 什麼是LEX-BERT ？

點擊查看答案

• 命名實體識別trick 常見面試篇
  • trick 1：領域詞典匹配
  • trick 2：規則抽取
  • trick 3：詞向量選取：詞向量or 字向量？
  • trick 4：特徵提取器如何選擇？
  • trick 5：專有名稱怎麼處理？
  • trick 6：標註數據不足怎麼處理？
  • trick 7：嵌套命名實體識別怎麼處理
    • 7.1 什麼是實體嵌套？
    • 7.2 與傳統命名實體識別任務的區別
    • 7.3 解決方法：
      • 7.3.1 方法一：序列標註
      • 7.3.2 方法二：指針標註
      • 7.3.3 方法三：多頭標註
      • 7.3.4 方法四：片段排列
  • trick 8：為什麼說「詞彙增強」 方法對於中文NER 任務有效？
  • trick 9：NER實體span過長怎麼辦？
  • trick 10: NER 標註數據噪聲問題？
  • trick 11： 給定兩個命名實體識別任務，一個任務數據量足夠，另外一個數據量很少，可以怎麼做？
  • trick 12： NER 標註數據不均衡問題？

點擊查看答案

4.1.2 關係抽取常見面試篇

• 關係抽取常見面試篇
  • 一、動機篇
    • 1.1 什麼是關係抽取？
    • 1.2 關係抽取技術有哪些類型？
    • 1.3 常見的關係抽取流程是怎麼做的？
  • 二、經典關係抽取篇
    • 2.1 模板匹配方法是指什麼？有什麼優缺點？
    • 2.2 遠監督關係抽取是指什麼？它有什麼優缺點？
    • 2.3 什麼是關係重疊？複雜關係問題？
    • 2.4 聯合抽取是什麼？難點在哪裡？
    • 2.5 聯合抽取總體上有哪些方法？各有哪些缺點？
    • 2.6 介紹基於共享參數的聯合抽取方法？
    • 2.7 介紹基於聯合解碼的聯合抽取方法？
    • 2.8 實體關係抽取的前沿技術和挑戰有哪些？如何解決低資源和復雜樣本下的實體關係抽取？
  • 三、文檔級關係抽取篇
    • 3.1 文檔級關係抽取與經典關係抽取有何區別？
    • 3.2 文檔級別關係抽取中面臨什麼樣的問題？
    • 3.3 文檔級關係抽取的方法有哪些？
      • 3.3.1 基於BERT-like的文檔關係抽取是怎麼做的？
      • 3.3.2 基於graph的文檔關係抽取是怎麼做的？
    • 3.4 文檔級關係抽取常見數據集有哪些以及其評估方法？

點擊查看答案

4.1.3 事件抽取常見面試篇

• 事件抽取常見面試篇
  • 一、原理篇
    • 1.1 什麼是事件？
    • 1.2 什麼是事件抽取？
    • 1.3 ACE測評中事件抽取涉及的幾個基本術語及任務是什麼？
    • 1.4 事件抽取怎麼發展的？
    • 1.5 事件抽取存在什麼問題？
  • 二、基本任務篇
    • 2.1 觸發詞檢測
      • 2.1.1 什麼是觸發詞檢測？
      • 2.1.2 觸發詞檢測有哪些方法？
    • 2.2 類型識別
      • 2.2.1 什麼是類型識別？
      • 2.2.2 類型識別有哪些方法？
    • 2.3 角色識別
      • 2.3.1 什麼是角色識別？
      • 2.3.2 角色識別有哪些方法？
    • 2.4 論元檢測
      • 2.4.1 什麼是論元檢測？
      • 2.4.2 論元檢測有哪些方法？
  • 三、常見方法篇
    • 3.1 模式匹配方法怎麼用在事件抽取中?
    • 3.2 統計機器學習方法怎麼用在事件抽取中?
    • 3.3 深度學習方法怎麼用在事件抽取中?
  • 四、數據集及評價指標篇
    • 4.1 事件抽取中常見的英文數據集有哪些？
    • 4.2 事件抽取中常見的中文數據集有哪些？
    • 4.3 事件抽取的評價指標是什麼？怎麼計算的？
  • 五、對比篇
    • 5.1 事件抽取和命名實體識別（即實體抽取）有什麼異同？
    • 5.2 事件抽取和關係抽取有什麼異同？
    • 5.3 什麼是事理圖譜？有哪些事件關係類型？事理圖譜怎麼構建？主要技術領域及當前發展熱點是什麼？
  • 六、應用篇
  • 七、拓展篇
    • 7.1 事件抽取論文綜述
    • 7.2 事件抽取常見問題

4.2 NLP 預訓練算法常見面試篇

• 【關於TF-idf】那些你不知道的事
  • 一、one-hot 篇
    • 1.1 為什麼有one-hot ？
    • 1.2 one-hot 是什麼?
    • 1.3 one-hot 有什麼特點?
    • 1.4 one-hot 存在哪些問題?
  • 二、TF-IDF 篇
    • 2.1 什麼是TF-IDF？
    • 2.2 TF-IDF 如何評估詞的重要程度？
    • 2.3 TF-IDF 的思想是什麼？
    • 2.4 TF-IDF 的計算公式是什麼？
    • 2.5 TF-IDF 怎麼描述？
    • 2.6 TF-IDF 的優點是什麼？
    • 2.7 TF-IDF 的缺點是什麼？
    • 2.8 TF-IDF 的應用？

點擊查看答案

• 【關於word2vec】那些你不知道的事
  • 一、Wordvec 介紹篇
    • 1.1 Wordvec 指什麼?
    • 1.2 Wordvec 中CBOW 指什麼?
    • 1.3 Wordvec 中Skip-gram 指什麼?
    • 1.4 CBOW vs Skip-gram 哪一個好？
  • 二、Wordvec 優化篇
    • 2.1 Word2vec 中霍夫曼樹是什麼？
    • 2.2 Word2vec 中為什麼要使用霍夫曼樹？
    • 2.3 Word2vec 中使用霍夫曼樹的好處？
    • 2.4 為什麼Word2vec 中會用到負採樣？
    • 2.5 Word2vec 中會用到負採樣是什麼樣？
    • 2.6 Word2vec 中負採樣的採樣方式？
  • 三、Wordvec 對比篇
    • 3.1 word2vec和NNLM對比有什麼區別？ （word2vec vs NNLM）
    • 3.2 word2vec和tf-idf 在相似度計算時的區別？
  • 四、word2vec 實戰篇
    • 4.1 word2vec訓練trick，window設置多大？
    • 4.1 word2vec訓練trick，詞向量緯度，大與小有什麼影響，還有其他參數？

點擊查看答案

• 【關於FastText】那些你不知道的事
  • 一、fastText 動機篇
    • 1.1 word-level Model 是什麼？
    • 1.2 word-level Model 存在什麼問題？
    • 1.3 Character-Level Model 是什麼？
    • 1.4 Character-Level Model 優點？
    • 1.5 Character-Level Model 存在問題？
    • 1.6 Character-Level Model 問題的解決方法？
  • 二、 詞內的n-gram信息(subword n-gram information) 介紹篇
    • 2.1 引言
    • 2.2 fastText 是什麼?
    • 2.3 fastText 的結構是什麼樣?
    • 2.4 為什麼fastText 要使用詞內的n-gram信息(subword n-gram information)?
    • 2.5 fastText 詞內的n-gram信息(subword n-gram information) 介紹?
    • 2.6 fastText 詞內的n-gram信息的訓練過程?
    • 2.7 fastText 詞內的n-gram信息存在問題?
  • 三、 層次化Softmax回歸(Hierarchical Softmax) 介紹篇
    • 3.1 為什麼要用層次化Softmax回歸(Hierarchical Softmax) ？
    • 3.2 層次化Softmax回歸(Hierarchical Softmax) 的思想是什麼？
    • 3.3 層次化Softmax回歸(Hierarchical Softmax) 的步驟？
  • 四、fastText 存在問題？

點擊查看答案

• 【關於Elmo】那些你不知道的事
  • 一、Elmo 動機篇
    • 1.1 為什麼會有Elmo？
  • 二、Elmo 介紹篇
    • 2.1 Elmo 的特點？
    • 2.2 Elmo 的思想是什麼？
  • 三、Elmo 問題篇
    • 3.1 Elmo 存在的問題是什麼？

點擊查看答案

4.3 Bert 常見面試篇

• Bert 常見面試篇
  • 一、動機篇
    • 1.1 【演變史】one-hot 存在問題?
    • 1.2【演變史】wordvec 存在問題?
    • 1.3【演變史】fastText 存在問題?
    • 1.4【演變史】elmo 存在問題?
  • 二、Bert 篇
    • 2.1 Bert 介紹篇
      • 2.1.1【BERT】Bert 是什麼?
      • 2.1.2【BERT】Bert 三個關鍵點？
    • 2.2 Bert 輸入輸出表徵篇
      • 2.2.1 【BERT】Bert 輸入輸出表徵長啥樣？
    • 2.3 【BERT】Bert 預訓練篇
      • 2.3.1 【BERT】Bert 預訓練任務介紹
      • 2.3.2 【BERT】Bert 預訓練任務之Masked LM 篇
        • 2.3.2.1 【BERT】 Bert 為什麼需要預訓練任務Masked LM ？
        • 2.3.2.2 【BERT】 Bert 預訓練任務Masked LM 怎麼做？
        • 2.3.2.3 【BERT】 Bert 預訓練任務Masked LM 存在問題？
        • 2.3.2.4 【BERT】 預訓練和微調之間的不匹配的解決方法？
      • 2.3.3 【BERT】Bert 預訓練任務之Next Sentence Prediction 篇
        • 2.3.3.1 【BERT】Bert 為什麼需要預訓練任務Next Sentence Prediction ？
        • 2.3.3.2 【BERT】 Bert 預訓練任務Next Sentence Prediction 怎麼做？
    • 2.4 【BERT】 fine-turning 篇？
      • 2.4.1 【BERT】為什麼Bert 需要fine-turning？
      • 2.4.2 【BERT】 Bert 如何fine-turning？
    • 2.5 【BERT】 Bert 損失函數篇？
      • 2.5.1 【BERT】BERT的兩個預訓練任務對應的損失函數是什麼(用公式形式展示)？
  • 三、 對比篇？
    • 3.1 【對比】多義詞問題是什麼？
    • 3.2 【對比】word2vec 為什麼解決不了多義詞問題？
    • 3.3 【對比】GPT和BERT有什麼不同？
    • 3.4 【對比】為什麼elmo、GPT、Bert能夠解決多義詞問題？ （以elmo 為例）

點擊查看答案

• 【關於Bert 源碼解析I 之主體篇】那些你不知道的事
• 【關於Bert 源碼解析II 之預訓練篇】那些你不知道的事
• 【關於Bert 源碼解析III 之微調篇】那些你不知道的事
• 【關於Bert 源碼解析IV 之句向量生成篇】那些你不知道的事
• 【關於Bert 源碼解析V 之文本相似度篇】那些你不知道的事

4.3.1 Bert 模型壓縮常見面試篇

• Bert 模型壓縮常見面試篇
  • 一、Bert 模型壓縮動機篇
  • 二、Bert 模型壓縮對比表
  • 三、 Bert 模型壓縮方法介紹
    • 3.1 Bert 模型壓縮方法之低秩因式分解&跨層參數共享
      • 3.1.1 什麼是低秩因式分解？
      • 3.1.2 什麼是跨層參數共享？
      • 3.1.3 ALBERT 所所用的方法？
    • 3.2 Bert 模型壓縮方法之蒸餾
      • 3.2.1 什麼是蒸餾？
      • 3.2.2 使用模型蒸餾的論文有哪些，稍微介紹一下？
    • 3.3 Bert 模型壓縮方法之量化
      • 3.3.1 什麼是量化？
      • 3.3.2 Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT 【量化】
    • 3.4 Bert 模型壓縮方法之剪枝
      • 3.4.1 什麼是剪枝？
  • 四、模型壓縮存在問題？

點擊查看答案

4.3.2 Bert 模型系列常見面試篇

• 認識XLNet 麼？能不能講一下？ 和Bert 的區別在哪裡？
• 認識RoBERTa 麼？能不能講一下？ 和Bert 的區別在哪裡？
• 認識SpanBERT 麼？能不能講一下？ 和Bert 的區別在哪裡？
• 認識MASS 麼？能不能講一下？ 和Bert 的區別在哪裡？

點擊查看答案

4.4 文本分類常見面試篇

• 文本分類常見面試篇
  • 一、 抽象命題
    • 1.1 分類任務有哪些類別？它們都有什麼特徵？
    • 1.2 文本分類任務相較於其他領域的分類任務有何不同之處？
    • 1.3 文本分類任務和文本領域的其他任務相比有何不同之處？
    • 1.4 文本分類的過程？
  • 二、數據預處理
    • 2.1 文本分類任務的數據預處理方法有哪些？
    • 2.2 你使用過哪些分詞方法和工具？
    • 2.3 中文文本分詞的方法？
    • 2.4 基於字符串匹配的分詞方法的原理是什麼？
    • 2.5 統計語言模型如何應用於分詞？ N-gram最大概率分詞？
    • 2.6 基於序列標註的分詞方法是什麼？
    • 2.7 基於(Bi-)LSTM的詞性標註是什麼？
    • 2.8 詞幹提取和詞形還原有什麼區別？
  • 三、特徵提取
    • 3.1 （一個具體的）文本分類任務可以使用哪些特徵？
    • 3.2 （對於西文文本）使用單詞和使用字母作為特徵相比，差異如何？
    • 3.3 能不能簡單介紹下詞袋模型？
    • 3.4 n-gram 篇
      • 3.4.1 什麼是n元語法？為什麼要用n-gram？
      • 3.4.2 n-gram算法的局限性是什麼？
    • 3.5 主題建模篇
      • 3.5.1 介紹一下主題建模任務？
      • 3.5.2 主題建模的常用方法
      • 3.5.3 TF-IDF算法是做什麼的？簡單介紹下TF-IDF算法
      • 3.5.4 tf-idf高意味著什麼？
      • 3.5.5 tf-idf的不足之處
    • 3.6 文本相似度篇
      • 3.6.1 如何計算兩段文本之間的距離？
      • 3.6.2 什麼是jaccard距離？
      • 3.6.3 Dice係數和Jaccard係數的區別？
      • 3.6.4 同樣是編輯距離，萊文斯坦距離和漢明距離的區別在哪裡？
      • 3.6.5 寫一下計算編輯距離（萊溫斯坦距離）的編程題吧？
  • 四、模型篇
    • 4.1 fastText 篇
      • 4.1.1 fastText的分類過程？
      • 4.1.2 fastText的優點？
    • 4.2 TextCNN 篇
      • 4.2.1 TextCNN進行文本分類的過程?
      • 4.2.2 TextCNN可以調整哪些參數？
      • 4.2.3 使用CNN作為文本分類器時，不同通道channels對應著文本的什麼信息？
      • 4.2.4 TextCNN中卷積核的長與寬代表了什麼？
      • 4.2.5 在TextCNN中的pooling操作與一般CNN的pooling操作有何不同？
      • 4.2.6 TextCNN的局限性？
    • 4.3 DPCNN 篇
      • 4.3.1 如何解決長文本分類任務？
      • 4.3.2 簡單介紹DPCNN模型相較於TextCNN的改進？
    • 4.4 TextRCNN 篇
      • 4.4.1 簡要介紹TextRCNN相較於TextCNN的改進？
    • 4.5 RNN+Attention 篇
      • 4.5.1 RNN+Attention進行文本分類任務的思路，以及為什麼要加Attention / 注意力機制如何應用於文本分類領域？
    • 4.6 GNN 圖神經網絡篇
      • 4.6.1 GNN 圖神經網絡如何應用於文本分類領域？
    • 4.7 Transformer 篇
      • 4.7.1 基於Transformer的預訓練模型如何應用於文本分類領域？
    • 4.8 預訓練模型篇
      • 4.8.1 你了解哪些預訓練模型？它們的特點是什麼？
  • 五、損失函數
    • 5.1 激活函數sigmoid篇
      • 5.1.1 二分類問題使用的激活函數sigmoid簡介？
      • 5.1.2 Sigmod的缺點是什麼？
    • 5.2 激活函數softmax篇
      • 5.2.1 softmax函數是什麼？
      • 5.2.2 softmax函數怎麼求導？
    • 5.3 分類問題使用的損失函數還有有哪些？
  • 六、模型評估和算法比較
    • 6.1 文本分類任務使用的評估算法和指標有哪些？
    • 6.2 簡單介紹混淆矩陣和kappa？

點擊查看答案

• 文本分類trick 常見面試篇
  • 一、文本分類數據預處理如何做？
  • 二、文本分類預訓練模型如何選擇？
  • 三、文本分類參數如何優化？
  • 四、文本分類有哪些棘手任務？
  • 五、文本分類標籤體系構建？
  • 六、文本分類策略構建？

點擊查看答案

• 用檢索的方式做文本分類常見面試篇
  • 為什麼需要用檢索的方式做文本分類？
  • 基於檢索的方法做文本分類思路？
  • 檢索的方法的召回庫如何構建？
  • 檢索的方法的訓練階段如何做？
  • 檢索的方法的預測階段如何做？
  • 用檢索的方式做文本分類方法適用場景有哪些？

點擊查看答案

4.5 文本匹配常見面試篇

• 文本匹配模型ESIM 常見面試篇
  • 為什麼需要ESIM？
  • 介紹一下ESIM 模型？

點擊查看答案

• 語義相似度匹配任務中的BERT 常見面試篇
  • 一、Sentence Pair Classification Task：使用CLS
  • 二、cosine similairity
  • 三、長短文本的區別
  • 四、sentence/word embedding
  • 五、siamese network 方式

點擊查看答案

4.6 問答系統常見面試篇

4.6.1 FAQ 檢索式問答系統常見面試篇

• 一、動機
  • 1.1 問答系統的動機？
  • 1.2 問答系統是什麼？
• 二、FAQ 檢索式問答系統介紹篇
  • 2.1 FAQ 檢索式問答系統是什麼？
  • 2.2 query 匹配標準QA 的核心是什麼?
• 三、FAQ 檢索式問答系統方案篇
  • 3.1 常用方案有哪些？
  • 3.2 為什麼QQ 匹配比較常用？
    • 3.2.1 QQ 匹配的優點有哪些？
    • 3.2.2 QQ 匹配的語義空間是什麼？
    • 3.2.3 QQ 匹配的語料的穩定性是什麼？
    • 3.2.4 QQ 匹配的業務回答與算法模型的解耦是什麼？
    • 3.2.5 QQ 匹配的新問題發現與去重是什麼？
    • 3.2.6 QQ 匹配的上線運行速度是什麼？
  • 3.3 QQ 匹配一般處理流程是怎麼樣？ 【假設標準問題庫已處理好】
• 四、FAQ 標準問題庫構建篇
  • 4.1 如何發現FAQ 中標準問題？
  • 4.2 FAQ 如何做拆分？
  • 4.3 FAQ 如何做合併？
  • 4.4 FAQ 標準庫如何實時更新？
• 五、FAQ 標準問題庫答案優化篇
  • 5.1 FAQ 標準問題庫答案如何優化？

點擊查看答案

4.6.2 問答系統工具篇常見面試篇

• Faiss 常見面試篇
  • 一、動機篇
    • 1.1 傳統的相似度算法所存在的問題？
  • 二、介紹篇
    • 2.1 什麼是Faiss ？
    • 2.2 Faiss 如何使用？
    • 2.3 Faiss原理與核心算法
  • 三、Faiss 實戰篇
    • 3.1 Faiss 如何安裝？
    • 3.2 Faiss 的索引Index有哪些？
    • 3.3 Faiss 的索引Index都怎麼用？
      • 3.3.1 數據預備
      • 3.3.2 暴力美學IndexFlatL2
      • 3.3.3 閃電俠IndexIVFFlat
      • 3.3.4 內存管家IndexIVFPQ
    • 3.4 Faiss 然後使用GPU？
  • 四、 Faiss 對比篇
    • 4.1 sklearn cosine_similarity 和Faiss 哪家強

4.7 對話系統常見面試篇

• 對話系統常見面試篇
  • 一、對話系統介紹篇
    • 1.1 對話系統有哪幾種？
    • 1.2 這幾種對話系統的區別？
  • 二、多輪對話系統介紹篇
    • 2.1 為什麼要用多輪對話系統？
    • 2.2 常見的多輪對話系統解決方案是什麼？
  • 三、任務型對話系統介紹篇
    • 3.1 什麼是任務型對話系統？
    • 3.2 任務型對話系統的流程是怎麼樣？
    • 3.3 任務型對話系統語言理解（SLU）篇
      • 3.3.1 什麼是語言理解（SLU）？
      • 3.3.2 語言理解（SLU）的輸入輸出是什麼？
      • 3.3.3 語言理解（SLU）所使用的技術是什麼？
    • 3.4 任務型對話系統DST（對話狀態跟踪）篇
      • 3.4.1 什麼是DST（對話狀態跟踪）？
      • 3.4.2 DST（對話狀態跟踪）的輸入輸出是什麼？
      • 3.4.3 DST（對話狀態跟踪）存在問題和解決方法？
      • 3.4.4 DST（對話狀態跟踪）實現方式是什麼？
    • 3.5 任務型對話系統DPO（對話策略學習）篇
      • 3.5.1 DPO（對話策略學習）是什麼？
      • 3.5.2 DPO（對話策略學習）的輸入輸出是什麼？
      • 3.5.3 DPO（對話策略學習）的實現方法是什麼？
    • 3.6 任務型對話系統NLG（自然語言生成）篇
      • 3.6.1 NLG（自然語言生成）是什麼？
      • 3.6.2 NLG（自然語言生成）的輸入輸出是什麼？
      • 3.6.3 NLG（自然語言生成）的實現方式？

點擊查看答案

4.8 知識圖譜常見面試篇

4.8.1 知識圖譜常見面試篇

• 一、知識圖譜簡介
  • 1.1 引言
  • 1.2 什麼是知識圖譜呢？
    • 1.2.1 什麼是圖（Graph）呢？
    • 1.2.2 什麼是Schema 呢？
  • 1.3 知識圖譜的類別有哪些？
  • 1.4 知識圖譜的價值在哪呢？
• 二、怎麼構建知識圖譜呢？
  • 2.1 知識圖譜的數據來源於哪裡？
  • 2.2 信息抽取的難點在哪裡？
  • 2.3 構建知識圖譜所涉及的技術？
  • 2.4、知識圖譜的具體構建技術是什麼？
    • 2.4.1 實體命名識別（Named Entity Recognition）
    • 2.4.2 關係抽取（Relation Extraction）
    • 2.4.3 實體統一（Entity Resolution）
    • 2.4.4 指代消解（Disambiguation）
• 三、知識圖譜怎麼存儲？
• 四、知識圖譜可以做什麼？

點擊查看答案

4.8.2 KBQA 常見面試篇

• 一、基於詞典和規則的方法
  • 基於詞典和規則的方法實現KBQA?
  • 基於詞典和規則的方法實現KBQA 流程?
• 二、基於信息抽取的方法
  • 基於信息抽取的方法實現KBQA 流程?

點擊查看答案

4.8.3 Neo4j 常見面試篇

• 一、Neo4J 介紹與安裝
  • 1.1 引言
  • 1.2 Neo4J 怎麼下載？
  • 1.3 Neo4J 怎麼安裝？
  • 1.4 Neo4J Web 界面介紹
  • 1.5 Cypher查詢語言是什麼？
• 二、Neo4J 增刪查改篇
  • 2.1 引言
  • 2.2 Neo4j 怎麼創建節點？
  • 2.3 Neo4j 怎麼創建關係？
  • 2.4 Neo4j 怎麼創建出生地關係？
  • 2.5 Neo4j 怎麼查詢？
  • 2.6 Neo4j 怎麼刪除和修改？
• 三、如何利用Python 操作Neo4j 圖數據庫？
  • 3.1 neo4j模塊：執行CQL ( cypher ) 語句是什麼？
  • 3.2 py2neo模塊是什麼？
• 四、數據導入Neo4j 圖數據庫篇

點擊查看答案

4.9 文本摘要常見面試篇

• 一、動機篇
  • 1.1 什麼是文本摘要？
  • 1.2 文本摘要技術有哪些類型？
• 二、抽取式摘要篇
  • 2.1 抽取式摘要是怎麼做的？
    • 2.1.1 句子重要性評估算法有哪些？
    • 2.1.2 基於約束的摘要生成方法有哪些？
    • 2.1.3 TextTeaser算法是怎麼抽取摘要的？
    • 2.1.4 TextRank算法是怎麼抽取摘要的？
  • 2.2 抽取式摘要的可讀性問題是什麼？
• 三、壓縮式摘要篇
  • 3.1 壓縮式摘要是怎麼做的？
• 四、生成式摘要篇
  • 4.1 生成式摘要是怎麼做的？
  • 4.2 生成式摘要存在哪些問題？
  • 4.3 Pointer-generator network解決了什麼問題？
• 五、摘要質量評估方法
  • 5.1 摘要質量的評估方法有哪些類型？
  • 5.2 什麼是ROUGE？
  • 5.3 幾種ROUGE指標之間的區別是什麼？
  • 5.4 BLEU和ROUGE有什麼不同？

點擊查看答案

4.10 文本糾錯篇常見面試篇

• 一、介紹篇
  • 1.1 什麼是文本糾錯？
  • 1.2 常見的文本錯誤類型？
  • 1.3 文本糾錯常用方法？
• 二、pipeline 方法介紹篇
  • pipeline 中的錯誤檢測如何實現？
  • pipeline 中的候選召回如何實現？
  • pipeline 中的糾錯排序如何實現？
  • pipeline 中的ASR 回顯優化如何實現？

點擊查看答案

4.11 文本摘要常見面試篇

• 一、動機篇
  • 1.1 什麼是文本摘要？
  • 1.2 文本摘要技術有哪些類型？
• 二、抽取式摘要篇
  • 2.1 抽取式摘要是怎麼做的？
    • 2.1.1 句子重要性評估算法有哪些？
    • 2.1.2 基於約束的摘要生成方法有哪些？
    • 2.1.3 TextTeaser算法是怎麼抽取摘要的？
    • 2.1.4 TextRank算法是怎麼抽取摘要的？
  • 2.2 抽取式摘要的可讀性問題是什麼？
• 三、壓縮式摘要篇
  • 3.1 壓縮式摘要是怎麼做的？
• 四、生成式摘要篇
  • 4.1 生成式摘要是怎麼做的？
  • 4.2 生成式摘要存在哪些問題？
  • 4.3 Pointer-generator network解決了什麼問題？
• 五、摘要質量評估方法
  • 5.1 摘要質量的評估方法有哪些類型？
  • 5.2 什麼是ROUGE？
  • 5.3 幾種ROUGE指標之間的區別是什麼？
  • 5.4 BLEU和ROUGE有什麼不同？

點擊查看答案

4.12 文本生成常見面試篇

• 生成模型的解碼方法常見面試篇
  • 什麼是生成模型？
  • 介紹一下基於搜索的解碼方法？
  • 介紹一下基於採樣的解碼方法？

點擊查看答案

三、深度學習算法篇常見面試篇

• CNN 常見面試篇
  • 一、動機篇
  • 二、CNN 卷積層篇
    • 2.1 卷積層的本質是什麼？
    • 2.2 CNN 卷積層與全連接層的聯繫？
    • 2.3 channel的含義是什麼？
  • 三、CNN 池化層篇
    • 3.1 池化層針對區域是什麼？
    • 3.2 池化層的種類有哪些？
    • 3.3 池化層的作用是什麼？
    • 3.4 池化層反向傳播是什麼樣的？
    • 3.5 mean pooling 池化層反向傳播是什麼樣的？
    • 3.6 max pooling 池化層反向傳播是什麼樣的？
  • 四、CNN 整體篇
    • 4.1 CNN 的流程是什麼？
    • 4.2 CNN 的特點是什麼？
    • 4.3 卷積神經網絡為什麼會具有平移不變性？
    • 4.4 卷積神經網絡中im2col是如何實現的？
    • 4.5 CNN 的局限性是什麼？
  • 五、Iterated Dilated CNN 篇
    • 5.1 什麼是Dilated CNN 空洞卷積？
    • 5.2 什麼是Iterated Dilated CNN？
  • 六、反捲積篇
    • 6.1 解釋反捲積的原理和用途？

點擊查看答案

• RNN 常見面試篇
  • 一、RNN 篇
    • 1.2 為什麼需要RNN?
    • 1.2 RNN 結構是怎麼樣的？
    • 1.3 RNN 前向計算公式？
    • 1.4 RNN 存在什麼問題？
  • 二、長短時記憶網絡(Long Short Term Memory Network, LSTM) 篇
    • 2.1 為什麼需要LSTM?
    • 2.2 LSTM 的結構是怎麼樣的?
    • 2.3 LSTM 如何緩解RNN 梯度消失和梯度爆炸問題?
    • 2.3 LSTM 的流程是怎麼樣的?
    • 2.4 LSTM 中激活函數區別?
    • 2.5 LSTM的複雜度？
    • 2.6 LSTM 存在什麼問題？
  • 三、GRU (Gated Recurrent Unit)
    • 3.1 為什麼需要GRU?
    • 3.2 GRU 的結構是怎麼樣的?
    • 3.3 GRU 的前向計算?
    • 3.4 GRU 與其他RNN系列模型的區別？
  • 四、RNN系列模型篇
    • 4.1 RNN系列模型有什麼特點？

點擊查看答案

• Attention 常見面試篇
  • 一、seq2seq 篇
    • 1.1 seq2seq （Encoder-Decoder）是什麼？
    • 1.2 seq2seq 中的Encoder 怎麼樣？
    • 1.3 seq2seq 中的Decoder 怎麼樣？
    • 1.4 在數學角度上的seq2seq ，你知道麼？
    • 1.5 seq2seq 存在什麼問題？
  • 二、Attention 篇
    • 2.1 什麼是Attention?
    • 2.2 為什麼引入Attention機制？
    • 2.3 Attention 有什麼作用？
    • 2.4 Attention 流程是怎麼樣？
      • 步驟一執行encoder (與seq2seq 一致)
      • 步驟二計算對齊係數a
      • 步驟三計算上下文語義向量C
      • 步驟四更新decoder狀態
      • 步驟五計算輸出預測詞
    • 2.5 Attention 的應用領域有哪些？
  • 三、Attention 變體篇
    • 3.1 Soft Attention 是什麼？
    • 3.2 Hard Attention 是什麼？
    • 3.3 Global Attention 是什麼？
    • 3.4 Local Attention 是什麼？
    • 3.5 self-attention 是什麼？

點擊查看答案

• 生成對抗網絡GAN 常見面試篇
  • 一、動機
  • 二、介紹篇
    • 2.1 GAN 的基本思想
    • 2.2 GAN 基本介紹
      • 2.2.1 GAN 的基本結構
      • 2.2.2 GAN 的基本思想
  • 三、訓練篇
    • 3.1 生成器介紹
    • 3.2 判別器介紹
    • 3.3 訓練過程
    • 3.4 訓練所涉及相關理論基礎
  • 四、總結

點擊查看答案

3.1 Transformer 常見面試篇

• Transformer 常見面試篇
  • 一、動機篇
    • 1.1 為什麼要有Transformer?
    • 1.2 Transformer 作用是什麼？
  • 二、整體結構篇
    • 2.1 Transformer 整體結構是怎麼樣？
    • 2.2 Transformer-encoder 結構怎麼樣？
    • 2.3 Transformer-decoder 結構怎麼樣?
  • 三、模塊篇
    • 3.1 self-attention 模塊
      • 3.1.1 傳統attention 是什麼?
      • 3.1.2 為什麼會有self-attention?
      • 3.1.3 self-attention 的核心思想是什麼?
      • 3.1.4 self-attention 的目的是什麼?
      • 3.1.5 self-attention 的怎麼計算的?
      • 3.1.6 self-attention 為什麼Q和K使用不同的權重矩陣生成，為何不能使用同一個值進行自身的點乘？
      • 3.1.7 為什麼採用點積模型的self-attention 而不採用加性模型？
      • 3.1.8 Transformer 中在計算self-attention 時為什麼要除以 $sqrt{d}$ ？
      • 3.1.9 self-attention 如何解決長距離依賴問題？
      • 3.1.10 self-attention 如何並行化？
    • 3.2 multi-head attention 模塊
      • 3.2.1 multi-head attention 的思路是什麼樣?
      • 3.2.2 multi-head attention 的步驟是什麼樣?
      • 3.2.3 Transformer為何使用多頭注意力機制？ （為什麼不使用一個頭）
      • 3.2.4 為什麼在進行多頭注意力的時候需要對每個head進行降維？
      • 3.2.5 multi-head attention 代碼介紹
    • 3.3 位置編碼（Position encoding）模塊
      • 3.3.1 為什麼要加入位置編碼（Position encoding） ？
      • 3.3.2 位置編碼（Position encoding）的思路是什麼？
      • 3.3.3 位置編碼（Position encoding）的作用是什麼？
      • 3.3.4 位置編碼（Position encoding）的步驟是什麼？
      • 3.3.5 Position encoding為什麼選擇相加而不是拼接呢？
      • 3.3.6 Position encoding和Position embedding的區別？
      • 3.3.7 為何17年提出Transformer時採用的是Position Encoder 而不是Position Embedding？而Bert卻採用的是Position Embedding ？
      • 3.3.8 位置編碼（Position encoding）的代碼介紹
    • 3.4 殘差模塊模塊
      • 3.4.1 為什麼要加入殘差模塊？
    • 3.5 Layer normalization 模塊
      • 3.5.1 為什麼要加入Layer normalization 模塊？
      • 3.5.2 Layer normalization 模塊的是什麼？
      • 3.5.3 Batch normalization 和Layer normalization 的區別？
      • 3.5.4 Transformer 中為什麼要捨棄Batch normalization 改用Layer normalization 呢?
      • 3.5.5 Layer normalization 模塊代碼介紹
    • 3.6 Mask 模塊
      • 3.6.1 什麼是Mask？
      • 3.6.2 Transformer 中用到幾種Mask？
      • 3.6.3 能不能介紹一下Transformer 中用到幾種Mask？

點擊查看答案

• 【關於Transformer 問題及改進】那些你不知道的事
  • 一、Transformer 問題篇
    • 1.1 既然Transformer 怎麼牛逼，是否還存在一些問題？
  • 二、每個問題的解決方法是什麼？
    • 2.1 問題一：Transformer 不能很好的處理超長輸入問題
      • 2.1.1 Transformer 固定了句子長度？
      • 2.1.2 Transformer 固定了句子長度的目的是什麼？
      • 2.1.3 Transformer 針對該問題的處理方法？
    • 2.2 問題二：Transformer 方向信息以及相對位置的缺失問題
    • 2.3 問題三：缺少Recurrent Inductive Bias
    • 問題四：問題四：Transformer是非圖靈完備的： 非圖靈完備通俗的理解，就是無法解決所有的問題
    • 問題五：transformer缺少conditional computation；
    • 問題六：transformer 時間複雜度和空間複雜度過大問題；

五、NLP 技巧面

5.1 少樣本問題面

5.1.1 數據增強（EDA） 面試篇

• 一、動機篇
  • 1.1 什麼是數據增強？
  • 1.2 為什麼需要數據增強？
• 二、常見的數據增強方法篇
  • 2.1 詞彙替換篇
    • 2.1.1 什麼是基於詞典的替換方法？
    • 2.1.2 什麼是基於詞向量的替換方法？
    • 2.1.3 什麼是基於MLM 的替換方法？
    • 2.1.4 什麼是基於TF-IDF 的詞替換？
  • 2.2 詞彙插入篇
    • 2.2.1 什麼是隨機插入法？
  • 2.3 詞彙交換篇
    • 2.3.1 什麼是隨機交換法？
  • 2.4 詞彙刪除篇
    • 2.4.1 什麼是隨機刪除法？
  • 2.5 回譯篇
    • 2.5.1 什麼是回譯法？
  • 2.6 交叉增強篇
    • 2.6.1 什麼是交叉增強篇
  • 2.7 語法樹篇
    • 2.7.1 什麼是語法樹操作？
  • 2.8 對抗增強篇
    • 2.8.1 什麼是對抗增強？

點擊查看答案

5.1.2 主動學習面試篇

• 一、動機篇
  • 1.1 主動學習是什麼？
  • 1.2 為什麼需要主動學習？
• 二、主動學習篇
  • 2.1 主動學習的思路是什麼？
  • 2.2 主動學習方法的價值點在哪裡？
• 三、樣本選取策略篇
  • 3.1 以未標記樣本的獲取方式的差別進行劃分
  • 3.2 測試集內選取“信息”量最大的數據標記
    • 3.2.1 測試集內選取“信息”量最大的數據標記
    • 3.2.2 依賴不確定度的樣本選取策略（Uncertainty Sampling, US）
    • 3.2.3 基於委員會查詢的方法（Query-By-Committee，QBC）

點擊查看答案

5.1.3 數據增強之對抗訓練面試篇

• 一、介紹篇
  • 1.1 什麼是對抗訓練？
  • 1.2 為什麼對抗訓練能夠提高模型效果？
  • 1.3 對抗訓練有什麼特點？
  • 1.4 對抗訓練的作用?
• 二、概念篇
  • 2.1 對抗訓練的基本概念?
  • 2.2 如何計算擾動?
  • 2.3 如何優化?
• 三、實戰篇
  • 3.1 NLP 中經典對抗訓練之Fast Gradient Method（FGM）
  • 3.2 NLP 中經典對抗訓練之Projected Gradient Descent（PGD）

點擊查看答案

5.2 “臟數據”處理面試篇

• 一、動機
  • 1.1 何為“臟數據”？
  • 1.2 “臟數據” 會帶來什麼後果？
• 二、“臟數據” 處理篇
  • 2.1 “臟數據” 怎麼處理呢？
  • 2.2 置信學習方法篇
    • 2.2.1 什麼是置信學習方法？
    • 2.2.2 置信學習方法優點？
    • 2.2.3 置信學習方法怎麼做？
    • 2.2.4 置信學習方法怎麼用？有什麼開源框架？
    • 2.2.5 置信學習方法的工作原理？

點擊查看答案

5.3 batch_size設置面試篇

• 一、訓練模型時，batch_size的設置，學習率的設置?

點擊查看答案

5.4 早停法EarlyStopping 面試篇

• 一、 為什麼要用早停法EarlyStopping？
• 二、 早停法EarlyStopping 是什麼？
• 三、早停法torch 版本怎麼實現？

點擊查看答案

5.5 標籤平滑法LabelSmoothing 面試篇

• 一、為什麼要有標籤平滑法LabelSmoothing？
• 二、 標籤平滑法是什麼？
• 三、 標籤平滑法torch 怎麼復現？

點擊查看答案

5.6 Bert Trick 面試篇

5.6.1 Bert 未登錄詞處理面試篇

• 什麼是Bert 未登錄詞？
• Bert 未登錄詞如何處理？
• Bert 未登錄詞各種處理方法有哪些優缺點？

點擊查看答案

5.6.2 BERT在輸入層引入額外特徵面試篇

• BERT在輸入層如何引入額外特徵？

點擊查看答案

5.6.3 關於BERT 繼續預訓練面試篇

• 什麼是繼續預訓練？
• 為什麼會存在【數據分佈/領域差異】大問題？
• 如何進行繼續預訓練？
• 還有哪些待解決問題？
• 訓練數據問題解決方案？
• 知識缺乏問題解決方案？
• 知識理解缺乏問題解決方案？

點擊查看答案

5.6.4 BERT如何處理篇章級長文本面試篇

• 為什麼Bert 不能處理長文本？
• BERT 有哪些處理篇章級長文本?

點擊查看答案

六、 Prompt Tuning 面試篇

6.1 Prompt 面試篇

1. 什麼是prompt？
2. 如何設計prompt？
3. prompt進階——如何自動學習prompt？
4. Prompt 有哪些關鍵要點？
5. Prompt 如何實現？

點擊查看答案

6.2 Prompt 文本生成面試篇

1. Prompt之文本生成評估手段有哪些？
2. Prompt文本生成具體任務有哪些？

點擊查看答案

6.3 LoRA 面試篇

1. 什麼是lora？
2. lora 是怎麼做的呢？
3. lora 為什麼可以這樣做？
4. 用一句話描述lora？
5. lora 優點是什麼？
6. lora 缺點是什麼？
7. lora 如何實現？

點擊查看答案

6.4 PEFT（State-of-the-art Parameter-Efficient Fine-Tuning）面試篇

• 一、微調Fine-tuning 篇
  • 1.1 什麼是微調Fine-tuning ？
  • 1.2 微調Fine-tuning 基本思想是什麼？
• 二、輕度微調（lightweight Fine-tuning）篇
  • 2.1 什麼是輕度微調（lightweight Fine-tuning）？
• 三、適配器微調（Adapter-tuning）篇
  • 3.1 什麼是適配器微調（Adapter-tuning）？
  • 3.2 適配器微調（Adapter-tuning）變體有哪些？
• 四、提示學習（Prompting）篇
  • 4.1 什麼是提示學習（Prompting）？
  • 4.2 提示學習（Prompting）的目的是什麼？
  • 4.3 提示學習（Prompting） 代表方法有哪些？
    • 4.3.1 前綴微調（Prefix-tining）篇
      • 4.3.1.1 什麼是前綴微調（Prefix-tining）？
      • 4.3.1.2 前綴微調（Prefix-tining）的核心是什麼？
      • 4.3.1.3 前綴微調（Prefix-tining）的技術細節有哪些？
      • 4.3.1.4 前綴微調（Prefix-tining）的優點是什麼？
      • 4.3.1.5 前綴微調（Prefix-tining）的缺點是什麼？
    • 4.3.2 指示微調（Prompt-tuning）篇
      • 4.3.2.1 什麼是指示微調（Prompt-tuning）？
      • 4.3.2.2 指示微調（Prompt-tuning）的核心思想？
      • 4.3.2.3 指示微調（Prompt-tuning）的優點/貢獻是什麼？
      • 4.3.2.4 指示微調（Prompt-tuning）的缺點是什麼？
      • 4.3.2.5 指示微調（Prompt-tuning）與Prefix-tuning 區別是什麼？
      • 4.3.2.6 指示微調（Prompt-tuning）與fine-tuning 區別是什麼？
    • 4.3.3 P-tuning 篇
      • 4.3.3.1 P-tuning 動機是什麼？
      • 4.3.3.2 P-tuning 核心思想是什麼？
      • 4.3.3.3 P-tuning 做了哪些改進？
      • 4.3.3.4 P-tuning 有哪些優點/貢獻？
      • 4.3.3.5 P-tuning 有哪些缺點？
    • 4.3.4 P-tuning v2 篇
      • 4.3.4.1 為什麼需要P-tuning v2？
      • 4.3.4.2 P-tuning v2 是什麼？
      • 4.3.4.3 P-tuning v2 有哪些優點？
      • 4.3.4.4 P-tuning v2 有哪些缺點？
    • 4.3.5 PPT 篇
      • 4.3.5.1 為什麼需要PPT ？
      • 4.3.5.2 PPT 核心思想是什麼？
      • 4.3.5.3 PPT 具體做法是怎麼樣？
      • 4.3.5.4 常用的soft prompt初始化方法？
      • 4.3.5.5 PPT 的優點是什麼？
      • 4.3.5.6 PPT 的缺點是什麼？
  • 4.4 提示學習（Prompting） 優點是什麼？
  • 4.5 提示學習（Prompting） 本質是什麼？
• 五、指令微調（Instruct-tuning）篇
  • 5.1 為什麼需要指令微調（Instruct-tuning）？
  • 5.2 指令微調（Instruct-tuning）是什麼？
  • 5.3 指令微調（Instruct-tuning）的優點是什麼？
  • 5.4 指令微調（Instruct-tuning） vs 提升學習（Prompting）？
  • 5.5 指令微調（Instruct-tuning） vs 提升學習（Prompting） vs Fine-tuning？
• 六、指令提示微調（Instruct Prompt tuning）篇
  • 6.1 為什麼需要指令微調（Instruct-tuning）？
  • 6.2 指令微調（Instruct-tuning） 是什麼？
  • 6.3 指令微調（Instruct-tuning） 在不同任務上性能？
• 七、self-instruct篇
  • 7.1 什麼是self-instruct？
• 八、Chain-of-Thought 篇
  • 8.1 為什麼需要Chain-of-Thought ？
  • 8.2 什麼是Chain-of-Thought ？
  • 8.3 Chain-of-Thought 的思路是怎麼樣的？
  • 8.4 Chain-of-Thought 的優點是什麼？
  • 8.5 為什麼chain-of-thought 會成功？
• 九、LoRA 篇
  • 9.1 LoRA 篇
    • 9.1.1 LoRA 核心思想是什麼？
    • 9.1.2 LoRA 具體思路是什麼？
    • 9.1.3 LoRA 優點是什麼？
    • 9.1.4 LoRA 缺點是什麼？
  • 9.2 AdaLoRA 篇
    • 9.2.1 AdaLoRA 核心思想是什麼？
    • 9.2.2 AdaLoRA 實現思路是什麼？
  • 9.3 DyLoRA 篇
    • 9.3.1 AdaLoRA 動機是什麼？
    • 9.3.2 AdaLoRA 核心思想是什麼？
    • 9.3.3 AdaLoRA 優點是什麼？
• 十、BitFit 篇
  • 10.1 AdaLoRA 核心思想是什麼？
  • 10.2 AdaLoRA 優點是什麼？
  • 10.3 AdaLoRA 缺點是什麼？

點擊查看答案

七、LLMs 面試篇

7.1 【現在達模型LLM，微調方式有哪些？各有什麼優缺點？

• 現在達模型LLM，微調方式有哪些？各有什麼優缺點？

點擊查看答案

7.2 GLM：ChatGLM的基座模型常見面試題

• GLM 的核心是什麼？
• GLM 的模型架構是什麼？
• GLM 如何進行多任務訓練？
• 在進行NLG 時， GLM 如何保證生成長度的未知性？
• GLM 的多任務微調方式有什麼差異？
• GLM 的多任務微調方式有什麼優點？

點擊查看答案

一、基礎算法常見面試篇

• 過擬合和欠擬合常見面試篇
  • 一、過擬合和欠擬合是什麼？
  • 二、過擬合/高方差（overfiting / high variance）篇
    • 2.1 過擬合是什麼及檢驗方法？
    • 2.2 導致過擬合的原因是什麼？
    • 2.3 過擬合的解決方法是什麼？
  • 三、欠擬合/高偏差（underfiting / high bias）篇
    • 3.1 欠擬合是什麼及檢驗方法？
    • 3.2 導致欠擬合的原因是什麼？
    • 3.3 過擬合的解決方法是什麼？

點擊查看答案

• BatchNorm vs LayerNorm 常見面試篇
  • 一、動機篇
    • 1.1 獨立同分佈（independent and identically distributed）與白化
    • 1.2 （ Internal Covariate Shift，ICS）
    • 1.3 ICS問題帶來的後果是什麼？
  • 二、Normalization 篇
    • 2.1 Normalization 的通用框架與基本思想
  • 三、Batch Normalization 篇
    • 3.1 Batch Normalization（縱向規範化）是什麼？
    • 3.2 Batch Normalization（縱向規範化）存在什麼問題？
    • 3.3 Batch Normalization（縱向規範化）適用的場景是什麼？
    • 3.4 BatchNorm 存在什麼問題？
  • 四、Layer Normalization（橫向規範化） 篇
    • 4.1 Layer Normalization（橫向規範化）是什麼？
    • 4.2 Layer Normalization（橫向規範化）有什麼用？
  • 五、BN vs LN 篇
  • 六、主流Normalization 方法為什麼有效？

點擊查看答案

• 激活函數常見面試篇

  • 一、動機篇
    • 1.1 為什麼要有激活函數？
  • 二、激活函數介紹篇
    • 2.1 sigmoid 函數篇
      • 2.1.1 什麼是sigmoid 函數？
      • 2.1.2 為什麼選sigmoid 函數作為激活函數？
      • 2.1.3 sigmoid 函數有什麼缺點？
    • 2.2 tanh 函數篇
      • 2.2.1 什麼是tanh 函數？
      • 2.2.2 為什麼選tanh 函數作為激活函數？
      • 2.2.3 tanh 函數有什麼缺點？
    • 2.3 relu 函數篇
      • 2.3.1 什麼是relu 函數？
      • 2.3.2 為什麼選relu 函數作為激活函數？
      • 2.3.3 relu 函數有什麼缺點？
  • 三、激活函數選擇篇

• 正則化常見面試篇

  • 一、L0，L1，L2正則化篇
    • 1.1 正則化是什麼？
    • 1.2 什麼是L0 正則化？
    • 1.3 什麼是L1 （稀疏規則算子Lasso regularization）正則化？
    • 1.4 什麼是L2 正則化（嶺回歸Ridge Regression 或者權重衰減Weight Decay）正則化？
  • 二、對比篇
    • 2.1 什麼是結構風險最小化？
    • 2.2 從結構風險最小化的角度理解L1和L2正則化
    • 2.3 L1 vs L2
  • 三、dropout 篇
    • 3.1 什麼是dropout？
    • 3.2 dropout 在訓練和測試過程中如何操作？
    • 3.3 dropout 如何防止過擬合?

點擊查看答案

• 優化算法及函數常見面試篇
  • 一、動機篇
    • 1.1 為什麼需要優化函數？
    • 1.2 優化函數的基本框架是什麼?
  • 二、優化函數介紹篇
    • 2.1 梯度下降法是什麼?
    • 2.2 隨機梯度下降法是什麼?
    • 2.3 Momentum 是什麼?
    • 2.4 SGD with Nesterov Acceleration 是什麼?
    • 2.5 Adagrad 是什麼?
    • 2.6 RMSProp/AdaDelta 是什麼？
    • 2.7 Adam 是什麼?
    • 2.8 Nadam 是什麼?
  • 三、優化函數學霸筆記篇

點擊查看答案

• 歸一化常見面試篇
  • 一、動機篇
    • 1.1 為什麼要歸一化？
  • 二、介紹篇
    • 2.1 歸一化有哪些方法？
    • 2.2 歸一化各方法特點？
    • 2.3 歸一化的意義？
  • 三、應用篇
    • 3.1 哪些機器學習算法需要做歸一化？
    • 3.2 哪些機器學習算法不需要做歸一化？

點擊查看答案

• 判別式（discriminative）模型vs. 生成式(generative)模型常見面試篇
  • 一、判別式模型篇
    • 1.1 什麼是判別式模型？
    • 1.2 判別式模型是思路是什麼？
    • 1.3 判別式模型的優點是什麼？
  • 二、生成式模型篇
    • 2.1 什麼是生成式模型？
    • 2.2 生成式模型是思路是什麼？
    • 2.3 生成式模型的優點是什麼？
    • 2.4 生成式模型的缺點是什麼？

點擊查看答案

二、機器學習算法篇常見面試篇

• 邏輯回歸常見面試篇
  • 一、介紹篇
    • 1.1什麼是邏輯回歸
    • 1.2邏輯回歸的優勢
  • 二、推導篇
    • 2.1邏輯回歸推導
    • 2.2求解優化

點擊查看答案

• 支持向量機常見面試篇
  • 一、原理篇
    • 1.1 什麼是SVM？
      • QA
    • 1.2 SVM怎麼發展的？
    • 1.3 SVM存在什麼問題？
      • QA
  • 二、算法篇
    • 2.1 什麼是塊算法？
    • 2.2 什麼是分解算法？
    • 2.3 什麼是序列最小優化算法？
    • 2.4 什麼是增量算法？
      • QA
  • 三、其他SVM篇
    • 3.1 什麼是最小二次支持向量機？
    • 3.2 什麼是模糊支持向量機？
    • 3.3 什麼是粒度支持向量機？
    • 3.4 什麼是多類訓練算法？
    • 3.5 什麼是孿生支持向量機？
    • 3.6 什麼是排序支持向量機？
      • QA
  • 四、應用篇
    • 4.1 模式識別
    • 4.2 網頁分類
    • 4.3 系統建模與系統辨識
    • 4.4 其他
  • 五、對比篇
  • 六、拓展篇

點擊查看答案

• 集成學習常見面試篇
  • 一、動機
  • 二、集成學習介紹篇
    • 2.1 介紹篇
      • 2.1.1 集成學習的基本思想是什麼？
      • 2.1.2 集成學習為什麼有效？
  • 三、 Boosting 篇
    • 3.1 用一句話概括Boosting？
    • 3.2 Boosting 的特點是什麼？
    • 3.3 Boosting 的基本思想是什麼？
    • 3.4 Boosting 的特點是什麼？
    • 3.5 GBDT 是什麼？
    • 3.6 Xgboost 是什麼？
  • 四、Bagging 篇
    • 4.1 用一句話概括Bagging？
    • 4.2 Bagging 的特點是什麼？
    • 4.3 Bagging 的基本思想是什麼？
    • 4.4 Bagging 的基分類器如何選擇？
    • 4.5 Bagging 的優點是什麼？
    • 4.6 Bagging 的特點是什麼？
    • 4.7 隨機森林是什麼？
  • 五、 Stacking 篇
    • 5.1 用一句話概括Stacking ？
    • 5.2 Stacking 的特點是什麼？
    • 5.3 Stacking 的基本思路是什麼？
  • 六、常見問題篇
    • 6.1 為什麼使用決策樹作為基學習器？
    • 6.2 為什麼不穩定的學習器更適合作為基學習器？
    • 6.3 哪些模型適合作為基學習器？
    • 6.4 Bagging 方法中能使用線性分類器作為基學習器嗎？ Boosting 呢？
    • 6.5 Boosting/Bagging 與偏差/方差的關係？
  • 七、對比篇
    • 7.1 LR vs GBDT?

點擊查看答案

九、【關於Python 】那些你不知道的事

• 【關於Python 】那些你不知道的事
  • 一、什麼是*args 和**kwargs？
    • 1.1 為什麼會有*args 和**kwargs？
    • 1.2 *args 和**kwargs 的用途是什麼？
    • 1.3 *args 是什麼？
    • 1.4 **kwargs是什麼？
    • 1.5 *args 與**kwargs 的區別是什麼？
  • 二、什麼是裝飾器？
    • 2.1 裝飾器是什麼？
    • 2.2 裝飾器怎麼用？
  • 三、Python垃圾回收（GC）
    • 3.1 垃圾回收算法有哪些？
    • 3.2 引用計數（主要）是什麼？
    • 3.3 標記-清除是什麼？
    • 3.4 分代回收是什麼？
  • 四、python的sorted函數對字典按key排序和按value排序
    • 4.1 python 的sorted函數是什麼？
    • 4.2 python 的sorted函數舉例說明？
  • 五、直接賦值、淺拷貝和深度拷貝
    • 5.1 概念介紹
    • 5.2 介紹
    • 5.3 變量定義流程
    • 5.3 賦值
    • 5.4 淺拷貝
    • 5.5 深度拷貝
    • 5.6 核心：不可變對像類型and 可變對像類型
      • 5.6.1 不可變對像類型
      • 5.6.2 可變對像類型
  • 六、進程、線程、協程
    • 6.1 進程
      • 6.1.1 什麼是進程？
      • 6.1.2 進程間如何通信？
    • 6.2 線程
      • 6.2.1 什麼是線程？
      • 6.2.2 線程間如何通信？
    • 6.3 進程vs 線程
      • 6.3.1 區別
      • 6.3.2 應用場景
    • 6.4 協程
      • 6.4.1 什麼是協程？
      • 6.4.2 協程的優點？
  • 七、全局解釋器鎖
    • 7.1 什麼是全局解釋器鎖？
    • 7.2 GIL有什麼作用？
    • 7.3 GIL有什麼影響？
    • 7.4 如何避免GIL帶來的影響？

十、【關於Tensorflow 】那些你不知道的事

• 【關於Tensorflow 損失函數】 那些你不知道的事
  • 一、動機
  • 二、什麼是損失函數？
  • 三、目標函數、損失函數、代價函數之間的關係與區別？
  • 四、損失函數的類別
    • 4.1 回歸模型的損失函數
      • （1）L1正則損失函數（即絕對值損失函數）
      • （2）L2正則損失函數（即歐拉損失函數）
      • （3）均方誤差（MSE, mean squared error）
      • （4）Pseudo-Huber 損失函數
    • 4.2 分類模型的損失函數
      • （1）Hinge損失函數
      • （2）兩類交叉熵（Cross-entropy）損失函數
      • （3）Sigmoid交叉熵損失函數
      • （4）加權交叉熵損失函數
      • （5）Softmax交叉熵損失函數
      • (6) SparseCategoricalCrossentropy vs sparse_categorical_crossentropy
  • 五、總結