NLP Interview Notes

NLPはまれです

はじめに：このプロジェクトは、個人のインタビューと経験に基づいた自然言語処理（NLP）のインタビューによって作成された研究ノートと資料です。この資料には現在、自然言語処理のさまざまな分野でのインタビューの質問の蓄積が含まれています。

> NLPインタビューおよび交換グループ（注：満杯の場合は、編集者wx：yzyykm666を追加してグループに参加できます！）

4. NLP学習アルゴリズムの一般的なインタビュー

4.1情報抽出のための一般的なインタビュー

4.1.1エンティティ認識の命名に関する一般的なインタビュー

• 隠されたマルコフアルゴリズムうーん共通インタビュー
  • 1。基本情報の紹介
    • 1.1確率グラフモデルとは何ですか？
    • 1.2ランダム空港とは何ですか？
  • 2。マルコフプロセスの紹介
    • 2.1マルコフプロセスとは何ですか？
    • 2.2マルコフプロセスの中心的なアイデアは何ですか？
  • iii。隠されたマルコフアルゴリズム
    • 3.1非表示のマルコフアルゴリズムの紹介
      • 3.1.1隠されたマルコフアルゴリズムは何ですか？
      • 3.1.2隠されたマルコフアルゴリズムの2つのシーケンスは何ですか？
      • 3.1.3隠されたマルコフアルゴリズムの3つのマトリックスは何ですか？
      • 3.1.4隠されたマルコフアルゴリズムの2つの仮定は何ですか？
      • 3.1.5隠されたマルコフアルゴリズムのワークフローは何ですか？
    • 3.2隠されたマルコフアルゴリズムモデルの計算プロセス
      • 3.2.1隠されたマルコフアルゴリズムの学習のトレーニングプロセスは何ですか？
      • 3.2.2隠されたマルコフアルゴリズムのシーケンスアノテーション（デコード）プロセスは何ですか？
      • 3.2.3隠されたマルコフアルゴリズムのシーケンス確率プロセスは何ですか？
    • 3.3隠されたマルコフアルゴリズムの問​​題

クリックして答えを表示します

• 最大エントロピーマルコフモデルMEMM共通インタビュー
  • 4。最大エントロピーマルコフモデル（MEMM）
    • 4.1最大エントロピーマルコフモデル（MEMM）の動機
      • 4.1.1うーんの問題は何ですか？
    • 4.2最大エントロピーマルコフモデル（MEMM）の紹介
      • 4.2.1最大エントロピーマルコフモデル（MEMM）はどのように見えますか？
      • 4.2.2最大エントロピーマルコフモデル（MEMM）HMMの問題を解決する方法は？
    • 4.3最大エントロピーマルコフモデル（MEMM）問題

クリックして答えを表示します

• 条件付きランダム空港（CRF）一般的なインタビュー
  • 5。条件付きランダムフィールド（CRF）
    • 5.1 CRFの動機
      • 5.1.1 HMMとMEMMの問題は何ですか？
    • 5.2 CRFはじめに
      • 5.2.1 CRFとは何ですか？
      • 5.2.2 CRFの主なアイデアは何ですか？
      • 5.2.3 CRFの定義は何ですか？
      • 5.2.4 CRFのプロセスは何ですか？
    • 5.3 CRF長所と短所
      • 5.3.1 CRFの利点は何ですか？
      • 5.3.2 CRFの欠点は何ですか？
    • 5.4 CRF複製？
  • 6。比較
    • 6.1 CRFモデルとHMMおよびMEMMモデルの違いは何ですか？

クリックして答えを表示します

• DNN-CRF一般的なインタビュー
  • 1。基本情報
    • 1.1エンティティの認識を命名するための評価指標は何ですか？
  • 2。従来の命名エンティティ認識方法
    • 2.1エンティティ認識を命名するルールベースの方法は何ですか？
    • 2.2監視されていない学習に基づく命名エンティティ認識方法は何ですか？
    • 2.3機能ベースの監視学習に基づいた指名されたエンティティ認識方法は何ですか？
  • 3.深い学習に基づくエンティティ認識方法の命名方法
    • 3.1機械学習に基づく名前付きエンティティ認識方法と比較した、深い学習に基づく名前付きエンティティ認識方法の利点は何ですか？
    • 3.2深い学習に基づいた指定されたエンティティ認識方法の構造は何ですか？
    • 3.3分散入力層とは何ですか？また、方法は何ですか？
    • 3.4テキストエンコーダー
      • 3.4.1 bilstm-crf
        • 3.4.1.1 bilstm-crfとは何ですか？
        • 3.4.1.2なぜbilstmを使用するのですか？
      • 3.4.2 idcnn-crf
        • 3.4.2.1拡張CNNとは何ですか？
        • 3.4.2.2なぜ拡張されたCNNがあるのですか？
        • 3.4.2.3拡張CNNの利点は何ですか？
        • 3.4.2.4 IDCNN-CRFの紹介
    • 3.5タグデコーダー
      • 3.5.1タグデコーダーとは何ですか？
      • 3.5.2 MLP+SoftMaxレイヤーの紹介？
      • 3.5.3条件付きランダムフィールドCRFレイヤーの紹介？
      • 3.5.4再発性ニューラルネットワークのRNN層の紹介？
      • 3.5.3ポインターネットワークレイヤーの紹介？
  • 4。比較
    • 4.1 CNN-CRF対BILSTM-CRF対IDCNN-CRF？
    • 4.2なぜDNNはCRFを追加する必要があるのですか？
    • 4.3 Tensorflow vs CRFのCRF離散ツールキット？

クリックして答えを表示します

• 中国のフィールドNER共通インタビュー
  • 1。動機
    • 1.1中国の名前付きエンティティ認識と英語の名前付きエンティティ認識の違いは何ですか？
  • 2。語彙強化
    • 2.1語彙強化とは何ですか？
    • 2.2「語彙強化」方法が中国のNERタスクに効果的なのはなぜですか？
    • 2.3語彙強化の方法は何ですか？
    • 2.4動的アーキテクチャ
      • 2.4.1動的アーキテクチャとは何ですか？
      • 2.4.2一般的な方法は何ですか？
      • 2.4.3格子LSTMとは何ですか？問題は何ですか？
      • 2.4.4フラットとは何ですか？問題は何ですか？
    • 2.5適応埋め込みパラダイム
      • 2.5.1適応型埋め込みパラダイムとは何ですか？
      • 2.5.2一般的な方法は何ですか？
      • 2.5.3 WC-LSTMとは何ですか？問題は何ですか？
  • 3。語彙/エンティティタイプ情報強化
    • 3.1語彙/エンティティタイプ情報の強化とは何ですか？
    • 3.2「語彙/エンティティタイプ情報強化」メソッドが中国のNERタスクに効果的なのはなぜですか？
    • 3.3語彙/エンティティタイプ情報を強化する方法は何ですか？
    • 3.4レックスバートとは何ですか？

クリックして答えを表示します

• 名前付きエンティティ認識が共通インタビューをトリックします
  • トリック1：ドメイン辞書マッチング
  • トリック2：ルール抽出
  • トリック3：単語ベクトルの選択：単語ベクトルまたは単語ベクトル？
  • トリック4：特徴抽出器を選択する方法は？
  • トリック5：著名な名前を扱う方法は？
  • トリック6：ラベルの不十分なデータを処理する方法は？
  • トリック7：ネストされた名前付きエンティティ認識に対処する方法
    • 7.1エンティティのネストとは何ですか？
    • 7.2従来の名前付きエンティティ認識タスクとの違い
    • 7.3解決策：
      • 7.3.1方法1：シーケンスアノテーション
      • 7.3.2方法2：ポインター注釈
      • 7.3.3方法3：長いヘッダー注釈
      • 7.3.4方法4：フラグメント配置
  • トリック8：なぜ「語彙強化」方法が中国のNERタスクに効果的なのですか？
  • トリック9：NERエンティティスパンが長すぎる場合はどうすればよいですか？
  • トリック10：NERラベル付けデータノイズの問題？
  • トリック11：2つの名前付きエンティティ認識タスクを考慮すると、1つのタスクには十分なデータがあり、もう1つのタスクにはデータがほとんどありません。私に何ができる？
  • トリック12：NERのラベル付けデータの問題は不均衡ですか？

クリックして答えを表示します

4.1.2関係図面の一般的なインタビュー

• 一般的なインタビューを描く関係
  • 1。動機
    • 1.1関係抽出とは何ですか？
    • 1.2関係抽出技術の種類は何ですか？
    • 1.3一般的な関係抽出プロセスはどのように行われますか？
  • 2。古典的な関係抽出
    • 2.1テンプレートマッチング方法は何を参照していますか？長所と短所は何ですか？
    • 2.2リモート監督関係の抽出は何を参照していますか？その長所と短所は何ですか？
    • 2.3関係の重複とは何ですか？複雑な関係の問題？
    • 2.4関節抽出とは何ですか？何が難しいですか？
    • 2.5関節抽出の全体的な方法は何ですか？彼らの欠点は何ですか？
    • 2.6共有パラメーターに基づくジョイント抽出方法の紹介？
    • 2.7ジョイントデコードに基づく関節デコードの紹介？
    • 2.8エンティティ関係の抽出における最先端のテクノロジーと課題は何ですか？低リソースと複雑なサンプルの下でエンティティ関係の抽出を解決する方法は？
  • 3。ドキュメントレベルの関係抽出
    • 3.1ドキュメントレベルの関係抽出と古典的な関係抽出の違いは何ですか？
    • 3.2ドキュメントレベルの関係抽出にどのような問題が直面していますか？
    • 3.3ドキュメントレベルの関係抽出の方法は何ですか？
      • 3.3.1バートのようなものに基づいたドキュメント関係抽出はどのように行われますか？
      • 3.3.2グラフベースのドキュメント関係抽出はどのように行われますか？
    • 3.4ドキュメントレベルの関係抽出とその評価方法の一般的なデータセットは何ですか？

クリックして答えを表示します

4.1.3イベント抽出一般的なインタビュー

• 一般的なインタビューを描くイベント
  • 1。原則
    • 1.1イベントとは何ですか？
    • 1.2イベント抽出とは何ですか？
    • 1.3 ACE評価におけるイベント抽出に伴う基本的な用語とタスクは何ですか？
    • 1.4イベント抽出はどのように発生しますか？
    • 1.5イベント抽出の問題は何ですか？
  • 2。基本的なタスク
    • 2.1トリガーワード検出
      • 2.1.1トリガーワード検出とは何ですか？
      • 2.1.2トリガーワード検出の方法は何ですか？
    • 2.2識別タイプ
      • 2.2.1タイプ認識とは何ですか？
      • 2.2.2タイプ識別の方法は何ですか？
    • 2.3ロール認識
      • 2.3.1ロール認識とは何ですか？
      • 2.3.2役割認識の方法は何ですか？
    • 2.4引数の検出
      • 2.4.1引数の検出とは何ですか？
      • 2.4.2議論検出の方法は何ですか？
  • 3。一般的な方法
    • 3.1イベント抽出でパターンマッチング方法を使用する方法は？
    • 3.2統計機械学習方法は、イベント抽出にどのように使用されますか？
    • 3.3イベント抽出では、深い学習方法をどのように使用しますか？
  • IV。データセットと評価インジケーター
    • 4.1イベント抽出の一般的な英語データセットは何ですか？
    • 4.2イベント抽出における一般的な中国のデータセットは何ですか？
    • 4.3イベント抽出の評価指標は何ですか？それを計算する方法は？
  • 5。比較
    • 5.1イベント抽出と名前付きエンティティ認識（つまり、エンティティ抽出）の類似点と相違点は何ですか？
    • 5.2イベント抽出と関係抽出の類似点と相違点は何ですか？
    • 5.3事実問題のマップとは何ですか？イベント関係の種類は何ですか？合理的なマップを構築する方法は？主な技術分野と現在の開発ホットスポットは何ですか？
  • 6。アプリケーション
  • 7。拡張
    • 7.1イベント抽出論文の概要
    • 7.2イベント抽出FAQ

4.2 NLP事前トレーニングアルゴリズムの一般的なインタビュー

• tf-idfについて】知らないこと
  • 1。ワンホット
    • 1.1なぜ1ホットがあるのですか？
    • 1.2ワンホットとは何ですか？
    • 1.3 1ホットの特徴は何ですか？
    • 1.4 1ホットの問題は何ですか？
  • 2。TF-IDF
    • 2.1 TF-IDFとは何ですか？
    • 2.2 TF-IDFは単語の重要性をどのように評価しますか？
    • 2.3 TF-IDFのアイデアは何ですか？
    • 2.4 TF-IDFの計算式は何ですか？
    • 2.5 TF-IDFを説明する方法は？
    • 2.6 TF-IDFの利点は何ですか？
    • 2.7 TF-IDFの欠点は何ですか？
    • 2.8 TF-IDFの適用？

クリックして答えを表示します

• word2vecについては、あなたが知らないことについて
  • 1。WordVecの紹介
    • 1.1 WordVecとはどういう意味ですか？
    • 1.2 WordVecのCbowはどういう意味ですか？
    • 1.3 Skip-GramはWordVecで何を意味しますか？
    • 1.4 CBOW対Skip-Gramに適しているのはどれですか？
  • 2。WordVec最適化記事
    • 2.1 Word2vecのHoffman Treeとは何ですか？
    • 2.2 Word2vecでHoffman Treeを使用する必要があるのはなぜですか？
    • 2.3 Word2VecでHoffman Treesを使用することの利点は何ですか？
    • 2.4 Word2Vecでネガティブサンプリングが使用されるのはなぜですか？
    • 2.5 word2vecの否定的なサンプリングとは何ですか？
    • 2.6 Word2vecの負のサンプリングのサンプリング方法は何ですか？
  • 3。WordVec比較
    • 3.1 word2vecとnnlmの違いは何ですか？ （word2vec vs nnlm）
    • 3.2類似性計算におけるWord2VecとTF-IDFの違いは何ですか？
  • 4。Word2vec実用的な章
    • 4.1 Word2vecトレーニングトリック、ウィンドウ設定の大きさはどれくらいですか？
    • 4.1 Word2vecトレーニングトリック、Word Vector Latitude、大小さまざまなパラメーターの影響は何ですか？

クリックして答えを表示します

• fasttextについては、あなたが知らないことについて
  • 1。高速テキストの動機
    • 1.1単語レベルのモデルとは何ですか？
    • 1.2単語レベルモデルの問題は何ですか？
    • 1.3文字レベルのモデルとは何ですか？
    • 1.4文字レベルのモデルの利点？
    • 1.5文字レベルのモデルに問題はありますか？
    • 1.6文字レベルのモデルの問題に対する解決策？
  • 2。言葉でn-gram情報の紹介（n-gram情報をサブワード）
    • 2.1はじめに
    • 2.2 FastTextとは何ですか？
    • 2.3 FastTextの構造は何ですか？
    • 2.4 FastTextが単語でn-gram情報を使用するのはなぜですか（n-gram情報をサブワード）？
    • 2.5 FastText Word（サブワードn-Gram情報）のn-gram情報の紹介？
    • 2.6 FastText WordでのN-GRAM情報のトレーニングプロセス？
    • 2.7 FastText WordのN-GRAM情報に問題はありますか？
  • 3。階層的なソフトマックス回帰の紹介（階層ソフトマックス）
    • 3.1階層的なソフトマックス回帰を使用する理由
    • 3.2階層的なソフトマックス回帰のアイデアは何ですか？
    • 3.3階層的なソフトマックス回帰への手順は何ですか？
  • 4. FastTextに問題はありますか？

クリックして答えを表示します

• elmoについては、あなたが知らないことについて
  • 1。エルモの動機
    • 1.1なぜエルモがあるのですか？
  • 2。ELMOの紹介
    • 2.1 ELMOの特徴は何ですか？
    • 2.2エルモの考えとは何ですか？
  • 3。ELMOの質問
    • 3.1 ELMOの問題は何ですか？

クリックして答えを表示します

4.3 Bert Commonインタビュー

• Bert Commonインタビュー
  • 1。動機
    • 1.1 [進化の歴史]ワンホットに問題はありますか？
    • 1.2 [進化の歴史] WordVecには問題がありますか？
    • 1.3 [Evolution History] ​​FastTextに問題はありますか？
    • 1.4 [Evolution History] ​​Elmoに問題はありますか？
  • 2。バート
    • 2.1バートの紹介
      • 2.1.1
      • 2.1.2
    • 2.2 BERT入力および出力の特性評価
      • 2.2.1 [BERT] BERT入力と出力の特性評価はどのように見えますか？
    • 2.3【bert】バート前訓練
      • 2.3.1【bert】バートトレーニング前のタスクは紹介します
      • 2.3. 2
        • 2.3.2.1
        • 2.3.2.2
        • 2.3.2.3【bert
        • 2.3. 2.4
      • 2.3. 3
        • 2.3.3.1 [BERT] Bertがトレーニング前のタスク次の文の予測を必要とするのはなぜですか？
        • 2.3.3.2【bert bert Bert Pre-Trainingタスクで次の文予測を行う方法は？
    • 2.4【バート
      • 2.4.1
      • 2.4.2
    • 2.5
      • 2.5.1 [BERT] BERTの2つのトレーニング前のタスクに対応する損失関数は何ですか（フォーミュラ形式で表されます）？
  • 3。比較？
    • 3.1 [コントラスト] Polysyntheticsの問題は何ですか？
    • 3.2 [比較] Word2vecが多配線の問題を解決できないのはなぜですか？
    • 3.3 [比較] GPTとBERTの違いは何ですか？
    • 3.4 [比較]なぜELMO、GPT、およびBERTがポリシノニムの問題を解決できるのですか？ （例としてエルモを取ります）

クリックして答えを表示します

• bert bertソースコード分析について私はメインボディ]あなたが知らないこと
• bert Bert Sourceコード分析についてIIトレーニング前の章】知らないこと
• bert bertソースコード分析についてiii微調整章】知らないこと
• [Bert Source Code Analysis IV文のベクトル生成記事]あなたが知らないこと
• [Bert Source Code Analysis v Textの類似性章]あなたが知らないこと

4.3.1 BERTモデル圧縮の一般的なインタビュー

• BERTモデル圧縮共通インタビュー
  • 1。BERTモデル圧縮の動機
  • 2。BERTモデル圧縮比較テーブル
  • 3。BERTモデル圧縮法の紹介
    • 3.1 BERTモデル圧縮法の低ランク因数分解とクロスレイヤーパラメーター共有
      • 3.1.1低ランクの因数分解とは何ですか？
      • 3.1.2クロスレイヤーパラメーターの共有とは何ですか？
      • 3.1.3アルバートが使用する方法？
    • 3.2 BERTモデル圧縮法の蒸留
      • 3.2.1蒸留とは何ですか？
      • 3.2.2モデルの蒸留を使用してどのような論文がありますか？簡単に紹介させてください。
    • 3.3 BERTモデル圧縮法の定量化
      • 3.3.1定量化とは何ですか？
      • 3.3.2 Q-Bert：Hessianベースの超低精度のBERT【定量化】
    • 3.4 BERTモデル圧縮法剪定
      • 3.4.1剪定とは何ですか？
  • 4.モデル圧縮に問題はありますか？

クリックして答えを表示します

4.3.2 Bert Modelシリーズの一般的なインタビュー

• xlnetを知っていますか？教えて頂けますか？バートの違いは何ですか？
• ロベルタを知っていますか？教えて頂けますか？バートの違いは何ですか？
• Spanbertを知っていますか？教えて頂けますか？バートの違いは何ですか？
• 質量を知っていますか？教えて頂けますか？バートの違いは何ですか？

クリックして答えを表示します

4.4テキスト分類のための一般的なインタビュー

• テキスト分類のための一般的なインタビュー
  • 1。抽象命題
    • 1.1分類タスクのカテゴリは何ですか？それらの特徴は何ですか？
    • 1.2他のフィールドの分類タスクと比較したテキスト分類タスクの違いは何ですか？
    • 1.3テキスト分類タスクとテキストフィールドのその他のタスクの違いは何ですか？
    • 1.4テキスト分類のプロセス？
  • 2。データ前処理
    • 2.1テキスト分類タスクのデータ前処理方法は何ですか？
    • 2.2どのWord分詞の方法とツールを使用しましたか？
    • 2.3中国のテキストを分詞する方法は？
    • 2.4文字列のマッチングに基づく単語セグメンテーション方法の原理は何ですか？
    • 2.5統計言語モデルは単語分詞にどのように適用されますか？ n-gram最大確率分詞？
    • 2.6シーケンスアノテーションに基づく単語セグメンテーション方法は何ですか？
    • 。
    • 2.8ステム抽出と単語形状の回復の違いは何ですか？
  • 3。特徴抽出
    • 3.1（特定）テキスト分類タスクでどのような特性を使用できますか？
    • 3.2（西洋のテキストの場合）単語を使用することと文字を特徴として使用することとの違いは何ですか？
    • 3.3 Bag of Wordsモデルを簡単に紹介できますか？
    • 3.4 n-gram
      • 3.4.1 n-method構文とは？なぜn-gramを使用するのですか？
      • 3.4.2 N-GRAMアルゴリズムの制限は何ですか？
    • 3.5トピックモデリング
      • 3.5.1トピックモデリングタスクの紹介？
      • 3.5.2トピックモデリングの一般的な方法
      • 3.5.3 TF-IDFアルゴリズムは何をしますか？ TF-IDFアルゴリズムの簡単な紹介
      • 3.5.4 TF-IDFはどういう意味ですか？
      • 3.5.5 TF-IDFの欠点
    • 3.6テキストの類似性
      • 3.6.1テキストの2つの段落間の距離を計算する方法は？
      • 3.6.2 Jaccardの距離とは？
      • 3.6.3サイコロ係数とジャッカー係数の違いは何ですか？
      • 3.6.4編集距離も同じですが、レビンシュタインの距離とハミング距離の違いは何ですか？
      • 3.6.5編集距離（Lewinstein距離）の計算に関するプログラミングの質問を書きますか？
  • 4。モデル
    • 4.1 FastText
      • 4.1.1 FastTextの分類プロセス？
      • 4.1.2 FastTextの利点は何ですか？
    • 4.2 textcnn
      • 4.2.1テキスト分類を実行するTextCNNのプロセス？
      • 4.2.2 TextCNNはどのパラメーターを調整できますか？
      • 4.2.3 CNNをテキスト分類器として使用する場合、異なるチャネルはテキストにどのような情報に対応していますか？
      • 4.2.4 TextCnnの畳み込みカーネルの長さと幅は何を表していますか？
      • 4.2.5 TextCNNでのプーリング操作と一般的なCNNのプーリング操作の違いは何ですか？
      • 4.2.6 textcnnの制限？
    • 4.3 DPCNN
      • 4.3.1長いテキスト分類タスクを解決する方法は？
      • 4.3.2 TextCNNと比較してDPCNNモデルの改善を簡単に紹介しますか？
    • 4.4 textrcnn
      • 4.4.1 TextCnnと比較して、Textrcnnの改善を簡単に紹介しますか？
    • 4.5 RNN+注意
      • 4.5.1テキスト分類タスクのRNN+注意のアイデア、そしてなぜ注意/注意メカニズムを追加する必要があるのですか？
    • 4.6 GNNグラフニューラルネットワーク
      • 4.6.1 GNNグラフニューラルネットワークは、テキスト分類の分野にどのように適用されますか？
    • 4.7トランス
      • 4.7.1トランスに基づいて事前に訓練されたモデルをテキスト分類の分野に適用する方法は？
    • 4.8事前に訓練されたモデル
      • 4.8.1どのような事前に訓練されたモデルを知っていますか？それらの特徴は何ですか？
  • V.損失関数
    • 5.1アクティベーション関数シグモイド
      • 5.1.1バイナリ分類問題に使用される活性化関数シグモイドの紹介？
      • 5.1.2 Sigmodの欠点は何ですか？
    • 5.2アクティベーション関数ソフトマックス
      • 5.2.1ソフトマックス機能とは何ですか？
      • 5.2.2ソフトマックス関数の導関数を見つける方法は？
    • 5.3分類の問題には他にどのような損失関数が使用されますか？
  • 6。モデルの評価とアルゴリズムの比較
    • 6.1テキスト分類タスクで使用される評価アルゴリズムとインジケーターは何ですか？
    • 6.2混乱マトリックスとカッパの簡単な紹介？

クリックして答えを表示します

• テキスト分類は一般的なインタビューを扱います
  • 1.テキスト分類データを前処理する方法は？
  • 2。テキスト分類事前訓練モデルを選択する方法は？
  • 3.テキスト分類パラメーターを最適化する方法は？
  • 4.テキスト分類の難しいタスクは何ですか？
  • 5。テキスト分類ラベルシステムの構築？
  • 6.テキスト分類戦略の構築？

クリックして答えを表示します

• 検索方法を使用して、テキスト分類のために一般的なインタビューを行う
  • テキストを分類するために検索を使用する必要があるのはなぜですか？
  • 検索方法に基づいたテキスト分類のアイデアは何ですか？
  • 取得された方法のリコールライブラリを構築する方法は？
  • 検索方法のトレーニング段階を実行する方法は？
  • 検索方法の予測段階を実行する方法は？
  • 検索方法を使用したテキスト分類に該当するシナリオは何ですか？

クリックして答えを表示します

4.5テキストマッチングに関する一般的なインタビュー

• テキストマッチングモデルESIM共通インタビュー
  • なぜESIMが必要なのですか？
  • ESIMモデルを導入するのはどうですか？

クリックして答えを表示します

• セマンティックな類似性マッチングタスクにおけるBertの一般的なインタビュー
  • 1。文ペア分類タスク：CLSを使用します
  • 2。コサインの類似性
  • 3。長いテキストと短いテキストの違い
  • 4。文/単語の埋め込み
  • 5。シャムネットワーク法

クリックして答えを表示します

4.6 Q＆Aシステムの一般的なインタビュー

4.6.1 FAQ検索ベースのQ＆Aシステムの一般的なインタビュー

• 1。動機
  • 1.1 Q＆Aシステムの動機？
  • 1.2 Q＆Aシステムとは何ですか？
• 2。FAQ検索ベースのQ＆Aシステムの紹介
  • 2.1 FAQ検索ベースの質問と回答システムは何ですか？
  • 2.2標準QAを一致させるクエリのコアは何ですか？
• 3. FAQ検索ベースのQ＆Aシステムソリューション
  • 3.1一般的に使用されるソリューションは何ですか？
  • 3.2 QQマッチングがより一般的に使用されるのはなぜですか？
    • 3.2.1 QQマッチングの利点は何ですか？
    • 3.2.2 QQマッチングのセマンティックスペースは何ですか？
    • 3.2.3 QQマッチングコーパスの安定性は何ですか？
    • 3.2.4 QQマッチングビジネスの回答とアルゴリズムモデルのデカップリングは何ですか？
    • 3.2.5新しいQQマッチングの問題の発見と強化は何ですか？
    • 3.2.6 QQマッチングのオンラインランニング速度はどのくらいですか？
  • 3.3 QQマッチングの一般的な処理プロセスは何ですか？ [標準の問題銀行が処理されたと仮定]
• 4. FAQ標準問題銀行の建設
  • 4.1 FAQで標準問題を見つける方法は？
  • 4.2 FAQを分割する方法は？
  • 4.3 FAQをマージする方法は？
  • 4.4 FAQ標準ライブラリをリアルタイムで更新する方法は？
• 5. FAQ Standard質問バンク回答最適化
  • 5.1 FAQスタンダード質問バンクへの回答を最適化する方法は？

クリックして答えを表示します

4.6.2 Q＆Aシステムツール一般的なインタビュー

• FAISS Commonインタビュー
  • 1。動機
    • 1.1従来の類似性アルゴリズムの問​​題は何ですか？
  • 2。はじめに
    • 2.1フェイスとは何ですか？
    • 2.2 FAISSの使用方法は？
    • 2.3 FAISS原理とコアアルゴリズム
  • 3. FAISS実践章
    • 3.1 FAISSのインストール方法は？
    • 3.2 FAISSのインデックスインデックスは何ですか？
    • 3.3 FAISSのインデックスの使用方法は？
      • 3.3.1データ準備
      • 3.3.2暴力的な美学indexflatl2
      • 3.3.3 Flash IndexIvflat
      • 3.3.4メモリマネージャーIndexIVFPQ
    • 3.4 FAISSはGPUを使用しますか？
  • 4。FAISS比較
    • 4.1どちらが良いのか、Sklearn cosine_similarityまたはfaiss

4.7対話システムの一般的なインタビュー

• 対話システムの一般的なインタビュー
  • 1.ダイアログシステムの紹介
    • 1.1ダイアログシステムは何ですか？
    • 1.2これらのダイアログシステムの違いは何ですか？
  • 2。マルチラウンドダイアログシステムの紹介
    • 2.1マルチラウンドダイアログシステムを使用する理由
    • 2.2一般的なマルチラウンドダイアログシステムソリューションは何ですか？
  • 3。タスクベースのダイアログシステムの紹介
    • 3.1タスクベースのダイアログシステムとは何ですか？
    • 3.2タスクベースのダイアログシステムのプロセスは何ですか？
    • 3.3タスクベースのダイアログシステム言語理解（SLU）
      • 3.3.1言語理解（SLU）とは何ですか？
      • 3.3.2言語理解（SLU）の入力と出力は何ですか？
      • 3.3.3言語理解（SLU）で使用される手法は何ですか？
    • 3.4タスクベースのダイアログシステムDST（ダイアログステータス追跡）
      • 3.4.1 DSTとは何ですか（ダイアログステータス追跡）？
      • 3.4.2 DST（ダイアログステータス追跡）の入力と出力は何ですか？
      • 3.4.3 DST（ダイアログステータス追跡）に問題と解決策がありますか？
      • 3.4.4 DSTの実装方法（ダイアログステータス追跡）は何ですか？
    • 3.5 DPO（ダイアログ戦略学習）タスクベースのダイアログシステムの章
      • 3.5.1 DPOとは何ですか（対話戦略学習）？
      • 3.5.2 DPO（ダイアログ戦略学習）の入力と出力は何ですか？
      • 3.5.3 DPO（ダイアログ戦略学習）の実装方法は何ですか？
    • 3.6 NLG（自然言語生成）タスクベースのダイアログシステム
      • 3.6.1 NLG（自然言語生成）とは？
      • 3.6.2 NLG（自然言語生成）の入力と出力は何ですか？
      • 3.6.3 NLG（自然言語生成）の実装ですか？

クリックして答えを表示します

4.8知識グラフの一般的なインタビュー

4.8.1知識グラフの一般的なインタビュー

• 1。知識グラフの紹介
  • 1.1はじめに
  • 1.2知識グラフとは何ですか？
    • 1.2.1グラフとは？
    • 1.2.2スキーマとは何ですか？
  • 1.3知識グラフのカテゴリは何ですか？
  • 1.4知識グラフの値は何ですか？
• 2。知識グラフを作成する方法は？
  • 2.1知識グラフのデータはどこから来たのですか？
  • 2.2情報抽出の困難は何ですか？
  • 2.3知識グラフの構築に伴うテクノロジー？
  • 2.4。知識グラフを構築するための特定の技術は何ですか？
    • 2.4.1名前付きエンティティ認識
    • 2.4.2関係抽出
    • 2.4.3エンティティ解決
    • 2.4.4は、曖昧性を除去することを指します
• 3.知識グラフを保存する方法は？
• 4.知識グラフは何ができますか？

クリックして答えを表示します

4.8.2 KBQA共通インタビュー

• 1。辞書とルールに基づく方法
  • 辞書とルールに基づいてKBQAを実装しますか？
  • 辞書とルールに基づいてKBQAプロセスを実装していますか？
• 2。情報抽出に基づく方法
  • 情報抽出に基づいてKBQAプロセスを実装しますか？

クリックして答えを表示します

4.8.3 Neo4j一般的なインタビュー

• 1。NEO4Jはじめにインストール
  • 1.1はじめに
  • 1.2 NEO4Jをダウンロードする方法は？
  • 1.3 NEO4Jをインストールする方法は？
  • 1.4 NEO4J Webインターフェイスの紹介
  • 1.5 Cypher Query Languageとは何ですか？
• 2。NEO4Jの追加、削除、検索、修正
  • 2.1はじめに
  • 2.2 NEO4Jでノードを作成する方法は？
  • 2.3 NEO4Jで関係を作成する方法は？
  • 2.4 NEO4Jで生家関係を作成する方法は？
  • 2.5 NEO4Jを照会する方法は？
  • 2.6 NEO4Jを削除および変更する方法は？
• 3. Pythonを使用してNeo4Jグラフデータベースを操作する方法は？
  • 3.1 NEO4Jモジュール：CQL（CYPHER）ステートメントの実行とは何ですか？
  • 3.2 Py2neoモジュールとは何ですか？
• 4.データインポートNeo4Jダイアグラムデータベース

クリックして答えを表示します

4.9テキストの要約一般的なインタビュー

• 1。動機
  • 1.1テキストの概要とは何ですか？
  • 1.2テキストの要約手法の種類は何ですか？
• 2。抽出概要
  • 2.1決定的な要約を作成する方法は？
    • 2.1.1文の重要性評価アルゴリズムは何ですか？
    • 2.1.2制約ベースの要約生成方法は何ですか？
    • 2.1.3 TextTeaserアルゴリズムはどのように概要を抽出しますか？
    • 2.1.4 Textrankアルゴリズムはどのように概要を抽出しますか？
  • 2.2抽出された要約の読みやすさの問題は何ですか？
• 3。圧縮概要
  • 3.1圧縮された要約を作成する方法は？
• 4。生成要約
  • 4.1生成要約を作成する方法は？
  • 4.2生成要約の問題は何ですか？
  • 4.3ポインタージェネレーターネットワークはどのような問題を解決しますか？
• V.抽象的な品質評価方法
  • 5.1抽象的な品質評価方法の種類は何ですか？
  • 5.2ルージュとは何ですか？
  • 5.3いくつかのルージュ指標の違いは何ですか？
  • 5.4ブルーとルージュの違いは何ですか？

クリックして答えを表示します

4.10テキストエラー修正記事共通インタビュー記事

• 1。はじめに
  • 1.1テキストエラー修正とは何ですか？
  • 1.2一般的なテキストエラータイプ？
  • 1.3テキストエラー修正の一般的な方法？
• 2。パイプラインメソッドの紹介
  • パイプラインにエラー検出を実装する方法は？
  • パイプラインで候補者のリコールを実装する方法は？
  • パイプラインにエラー補正ソートを実装する方法は？
  • パイプラインにASRエコー最適化を実装する方法は？

クリックして答えを表示します

4.11テキストの概要共通インタビュー

• 1。動機
  • 1.1テキストの概要とは何ですか？
  • 1.2テキストの要約手法の種類は何ですか？
• 2。抽出概要
  • 2.1決定的な要約を作成する方法は？
    • 2.1.1文の重要性評価アルゴリズムは何ですか？
    • 2.1.2制約ベースの要約生成方法は何ですか？
    • 2.1.3 TextTeaserアルゴリズムはどのように概要を抽出しますか？
    • 2.1.4 Textrankアルゴリズムはどのように概要を抽出しますか？
  • 2.2抽出された要約の読みやすさの問題は何ですか？
• 3。圧縮概要
  • 3.1圧縮された要約を作成する方法は？
• 4。生成要約
  • 4.1生成要約を作成する方法は？
  • 4.2生成要約の問題は何ですか？
  • 4.3ポインタージェネレーターネットワークはどのような問題を解決しますか？
• V.抽象的な品質評価方法
  • 5.1抽象的な品質評価方法の種類は何ですか？
  • 5.2ルージュとは何ですか？
  • 5.3いくつかのルージュ指標の違いは何ですか？
  • 5.4ブルーとルージュの違いは何ですか？

クリックして答えを表示します

4.12テキスト生成に関する一般的なインタビュー

• モデルを生成するためのデコード方法のための一般的なインタビュー
  • 生成モデルとは何ですか？
  • 検索ベースのデコード方法は何ですか？
  • サンプリングベースのデコード方法は何ですか？

クリックして答えを表示します

3。ディープラーニングアルゴリズムの共通インタビュー

• CNN共通インタビュー
  • 1。動機
  • 2。CNN畳み込み層
    • 2.1畳み込み層の本質は何ですか？
    • 2.2 CNN畳み込み層と完全に接続された層との間の接続は何ですか？
    • 2.3チャネルとはどういう意味ですか？
  • 3。CNNプーリング層
    • 3.1この地域のプーリングレイヤーは何ですか？
    • 3.2プーリングレイヤーの種類は何ですか？
    • 3.3プーリング層の機能は何ですか？
    • 3.4プーリング層のバックプロパゲーションとはどのようなものですか？
    • 3.5バックプロパゲーションをプールすることはどうですか？
    • 3.6プーリング層のバックプロパゲーションとはどのようなものですか？
  • 4。CNN全体
    • 4.1 CNNのプロセスは何ですか？
    • 4.2 CNNの特性は何ですか？
    • 4.3畳み込みニューラルネットワークに翻訳不変性があるのはなぜですか？
    • 4.4 IM2COLは畳み込みニューラルネットワークにどのように実装されていますか？
    • 4.5 CNNの制限は何ですか？
  • 5。反復拡張CNN
    • 5.1拡張CNNボイド畳み込みとは何ですか？
    • 5.2反復拡張CNNは何ですか？
  • 6。デコンボリューション
    • 6.1デコンボリューションの原則と使用を説明しますか？

クリックして答えを表示します

• RNN共通インタビュー
  • 1。RNN
    • 1.2なぜRNNが必要なのですか？
    • 1.2 RNN構造とは何ですか？
    • 1.3 RNNフォワード計算式？
    • 1.4 RNNの問題は何ですか？
  • 2。長期的なメモリネットワーク（LSTM）
    • 2.1なぜLSTMが必要なのですか？
    • 2.2 LSTMの構造は何ですか？
    • 2.3 LSTMは、RNN勾配の消失と勾配爆発の問題をどのように軽減しますか？
    • 2.3 LSTMのプロセスは何ですか？
    • 2.4 LSTMの活性化関数の違いは何ですか？
    • 2.5 LSTMの複雑さ？
    • 2.6 LSTMはどのような問題が存在しますか？
  • 3。GRU（ゲート再発ユニット）
    • 3.1なぜGRUが必要なのですか？
    • 3.2 GRUの構造は何ですか？
    • 3.3 GRUの前方計算？
    • 3.4 GRUと他のRNNシリーズモデルの違いは何ですか？
  • 4。RNNシリーズモデル
    • 4.1 RNNシリーズモデルの特性は何ですか？

クリックして答えを表示します

• 注意の一般的なインタビュー
  • 1。Seq2Seq
    • 1.1 seq2seq（エンコーダーデコーダー）とは何ですか？
    • 1.2 seq2seqのエンコーダーはどうですか？
    • 1.3 seq2seqのデコーダーはどうですか？
    • 1.4数学的な観点からseq2seqを知っていますか？
    • 1.5 Seq2Seqにはどのような問題がありますか？
  • 2。注意
    • 2.1注意とは何ですか？
    • 2.2注意メカニズムが導入されるのはなぜですか？
    • 2.3注意の機能は何ですか？
    • 2.4注意プロセスは何ですか？
      • ステップ1エンコーダーを実行する（seq2seqと一致）
      • ステップ2アライメント係数aを計算します
      • ステップ3：コンテキストセマンティックベクトルcを計算します
      • ステップ4デコーダーステータスを更新します
      • ステップ5出力予測単語を計算します
    • 2.5注意の領域は何ですか？
  • 3。注意バリアント
    • 3.1ソフトな注意とは何ですか？
    • 3.2難しい注意とは何ですか？
    • 3.3グローバルな注意とは何ですか？
    • 3.4地元の注意とは何ですか？
    • 3.5自己告発とは何ですか？

クリックして答えを表示します

• 敵対的なネットワークGAN共通インタビューを生成します
  • 1。動機
  • 2。はじめに
    • 2.1ガンの基本的なアイデア
    • 2.2ガンの基本的な紹介
      • 2.2.1 GAN 的基本结构
      • 2.2.2 GAN 的基本思想
  • 三、训练篇
    • 3.1 生成器介绍
    • 3.2 判别器介绍
    • 3.3 训练过程
    • 3.4 训练所涉及相关理论基础
  • 四、总结

点击查看答案

3.1 Transformer 常见面试篇

• Transformer 常见面试篇
  • 一、动机篇
    • 1.1 为什么要有Transformer?
    • 1.2 Transformer 作用是什么？
  • 二、整体结构篇
    • 2.1 Transformer 整体结构是怎么样？
    • 2.2 Transformer-encoder 结构怎么样？
    • 2.3 Transformer-decoder 结构怎么样?
  • 三、模块篇
    • 3.1 self-attention 模块
      • 3.1.1 传统attention 是什么?
      • 3.1.2 为什么会有self-attention?
      • 3.1.3 self-attention 的核心思想是什么?
      • 3.1.4 self-attention 的目的是什么?
      • 3.1.5 self-attention 的怎么计算的?
      • 3.1.6 self-attention 为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？
      • 3.1.7 为什么采用点积模型的self-attention 而不采用加性模型？
      • 3.1.8 Transformer 中在计算self-attention 时为什么要除以 $sqrt{d}$ ？
      • 3.1.9 self-attention 如何解决长距离依赖问题？
      • 3.1.10 self-attention 如何并行化？
    • 3.2 multi-head attention 模块
      • 3.2.1 multi-head attention 的思路是什么样?
      • 3.2.2 multi-head attention 的步骤是什么样?
      • 3.2.3 Transformer为何使用多头注意力机制？（为什么不使用一个头）
      • 3.2.4 为什么在进行多头注意力的时候需要对每个head进行降维？
      • 3.2.5 multi-head attention 代码介绍
    • 3.3 位置编码（Position encoding）模块
      • 3.3.1 为什么要加入位置编码（Position encoding） ？
      • 3.3.2 位置编码（Position encoding）的思路是什么？
      • 3.3.3 位置编码（Position encoding）的作用是什么？
      • 3.3.4 位置编码（Position encoding）的步骤是什么？
      • 3.3.5 Position encoding为什么选择相加而不是拼接呢？
      • 3.3.6 Position encoding和Position embedding的区别？
      • 3.3.7 为何17年提出Transformer时采用的是Position Encoder 而不是Position Embedding？而Bert却采用的是Position Embedding ？
      • 3.3.8 位置编码（Position encoding）的代码介绍
    • 3.4 残差模块模块
      • 3.4.1 为什么要加入残差模块？
    • 3.5 Layer normalization 模块
      • 3.5.1 为什么要加入Layer normalization 模块？
      • 3.5.2 Layer normalization 模块的是什么？
      • 3.5.3 Batch normalization 和Layer normalization 的区别？
      • 3.5.4 Transformer 中为什么要舍弃Batch normalization 改用Layer normalization 呢?
      • 3.5.5 Layer normalization 模块代码介绍
    • 3.6 Mask 模块
      • 3.6.1 什么是Mask？
      • 3.6.2 Transformer 中用到几种Mask？
      • 3.6.3 能不能介绍一下Transformer 中用到几种Mask？

点击查看答案

• 【关于Transformer 问题及改进】那些你不知道的事
  • 一、Transformer 问题篇
    • 1.1 既然Transformer 怎么牛逼，是否还存在一些问题？
  • 二、每个问题的解决方法是什么？
    • 2.1 问题一：Transformer 不能很好的处理超长输入问题
      • 2.1.1 Transformer 固定了句子长度？
      • 2.1.2 Transformer 固定了句子长度的目的是什么？
      • 2.1.3 Transformer 针对该问题的处理方法？
    • 2.2 问题二：Transformer 方向信息以及相对位置的缺失问题
    • 2.3 问题三：缺少Recurrent Inductive Bias
    • 问题四：问题四：Transformer是非图灵完备的： 非图灵完备通俗的理解，就是无法解决所有的问题
    • 问题五：transformer缺少conditional computation；
    • 问题六：transformer 时间复杂度和空间复杂度过大问题；

五、NLP 技巧面

5.1 少样本问题面

5.1.1 数据增强（EDA） 面试篇

• 一、动机篇
  • 1.1 什么是数据增强？
  • 1.2 为什么需要数据增强？
• 二、常见的数据增强方法篇
  • 2.1 词汇替换篇
    • 2.1.1 什么是基于词典的替换方法？
    • 2.1.2 什么是基于词向量的替换方法？
    • 2.1.3 什么是基于MLM 的替换方法？
    • 2.1.4 什么是基于TF-IDF 的词替换？
  • 2.2 词汇插入篇
    • 2.2.1 什么是随机插入法？
  • 2.3 词汇交换篇
    • 2.3.1 什么是随机交换法？
  • 2.4 词汇删除篇
    • 2.4.1 什么是随机删除法？
  • 2.5 回译篇
    • 2.5.1 什么是回译法？
  • 2.6 交叉增强篇
    • 2.6.1 什么是交叉增强篇
  • 2.7 语法树篇
    • 2.7.1 什么是语法树操作？
  • 2.8 对抗增强篇
    • 2.8.1 什么是对抗增强？

点击查看答案

5.1.2 主动学习面试篇

• 一、动机篇
  • 1.1 主动学习是什么？
  • 1.2 为什么需要主动学习？
• 二、主动学习篇
  • 2.1 主动学习的思路是什么？
  • 2.2 主动学习方法的价值点在哪里？
• 三、样本选取策略篇
  • 3.1 以未标记样本的获取方式的差别进行划分
  • 3.2 测试集内选取“信息”量最大的数据标记
    • 3.2.1 测试集内选取“信息”量最大的数据标记
    • 3.2.2 依赖不确定度的样本选取策略（Uncertainty Sampling, US）
    • 3.2.3 基于委员会查询的方法（Query-By-Committee，QBC）

点击查看答案

5.1.3 数据增强之对抗训练面试篇

• 一、介绍篇
  • 1.1 什么是对抗训练？
  • 1.2 为什么对抗训练能够提高模型效果？
  • 1.3 对抗训练有什么特点？
  • 1.4 对抗训练的作用?
• 二、概念篇
  • 2.1 对抗训练的基本概念?
  • 2.2 如何计算扰动?
  • 2.3 如何优化?
• 三、实战篇
  • 3.1 NLP 中经典对抗训练之Fast Gradient Method（FGM）
  • 3.2 NLP 中经典对抗训练之Projected Gradient Descent（PGD）

点击查看答案

5.2 “脏数据”处理面试篇

• 一、动机
  • 1.1 何为“脏数据”？
  • 1.2 “脏数据” 会带来什么后果？
• 二、“脏数据” 处理篇
  • 2.1 “脏数据” 怎么处理呢？
  • 2.2 置信学习方法篇
    • 2.2.1 什么是置信学习方法？
    • 2.2.2 置信学习方法优点？
    • 2.2.3 置信学习方法怎么做？
    • 2.2.4 置信学习方法怎么用？有什么开源框架？
    • 2.2.5 置信学习方法的工作原理？

点击查看答案

5.3 batch_size设置面试篇

• 一、训练模型时，batch_size的设置，学习率的设置?

点击查看答案

5.4 早停法EarlyStopping 面试篇

• 一、 为什么要用早停法EarlyStopping？
• 二、 早停法EarlyStopping 是什么？
• 三、早停法torch 版本怎么实现？

点击查看答案

5.5 标签平滑法LabelSmoothing 面试篇

• 一、为什么要有标签平滑法LabelSmoothing？
• 二、 标签平滑法是什么？
• 三、 标签平滑法torch 怎么复现？

点击查看答案

5.6 Bert Trick 面试篇

5.6.1 Bert 未登录词处理面试篇

• 什么是Bert 未登录词？
• Bert 未登录词如何处理？
• Bert 未登录词各种处理方法有哪些优缺点？

点击查看答案

5.6.2 BERT在输入层引入额外特征面试篇

• BERT在输入层如何引入额外特征？

点击查看答案

5.6.3 关于BERT 继续预训练面试篇

• 什么是继续预训练？
• 为什么会存在【数据分布/领域差异】大问题？
• 如何进行继续预训练？
• 还有哪些待解决问题？
• 训练数据问题解决方案？
• 知识缺乏问题解决方案？
• 知识理解缺乏问题解决方案？

点击查看答案

5.6.4 BERT如何处理篇章级长文本面试篇

• 为什么Bert 不能处理长文本？
• BERT 有哪些处理篇章级长文本?

点击查看答案

六、 Prompt Tuning 面试篇

6.1 Prompt 面试篇

1. 什么是prompt？
2. 如何设计prompt？
3. prompt进阶——如何自动学习prompt？
4. Prompt 有哪些关键要点？
5. Prompt 如何实现？

点击查看答案

6.2 Prompt 文本生成面试篇

1. Prompt之文本生成评估手段有哪些？
2. Prompt文本生成具体任务有哪些？

点击查看答案

6.3 LoRA 面试篇

1. 什么是lora？
2. lora 是怎么做的呢？
3. lora 为什么可以这样做？
4. 用一句话描述lora？
5. lora 优点是什么？
6. lora 缺点是什么？
7. lora 如何实现？

点击查看答案

6.4 PEFT（State-of-the-art Parameter-Efficient Fine-Tuning）面试篇

• 一、微调Fine-tuning 篇
  • 1.1 什么是微调Fine-tuning ？
  • 1.2 微调Fine-tuning 基本思想是什么？
• 二、轻度微调（lightweight Fine-tuning）篇
  • 2.1 什么是轻度微调（lightweight Fine-tuning）？
• 三、适配器微调（Adapter-tuning）篇
  • 3.1 什么是适配器微调（Adapter-tuning）？
  • 3.2 适配器微调（Adapter-tuning）变体有哪些？
• 四、提示学习（Prompting）篇
  • 4.1 什么是提示学习（Prompting）？
  • 4.2 提示学习（Prompting）的目的是什么？
  • 4.3 提示学习（Prompting） 代表方法有哪些？
    • 4.3.1 前缀微调（Prefix-tining）篇
      • 4.3.1.1 什么是前缀微调（Prefix-tining）？
      • 4.3.1.2 前缀微调（Prefix-tining）的核心是什么？
      • 4.3.1.3 前缀微调（Prefix-tining）的技术细节有哪些？
      • 4.3.1.4 前缀微调（Prefix-tining）的优点是什么？
      • 4.3.1.5 前缀微调（Prefix-tining）的缺点是什么？
    • 4.3.2 指示微调（Prompt-tuning）篇
      • 4.3.2.1 什么是指示微调（Prompt-tuning）？
      • 4.3.2.2 指示微调（Prompt-tuning）的核心思想？
      • 4.3.2.3 指示微调（Prompt-tuning）的优点/贡献是什么？
      • 4.3.2.4 指示微调（Prompt-tuning）的缺点是什么？
      • 4.3.2.5 指示微调（Prompt-tuning）与Prefix-tuning 区别是什么？
      • 4.3.2.6 指示微调（Prompt-tuning）与fine-tuning 区别是什么？
    • 4.3.3 P-tuning 篇
      • 4.3.3.1 P-tuning 动机是什么？
      • 4.3.3.2 P-tuning 核心思想是什么？
      • 4.3.3.3 P-tuning 做了哪些改进？
      • 4.3.3.4 P-tuning 有哪些优点/贡献？
      • 4.3.3.5 P-tuning 有哪些缺点？
    • 4.3.4 P-tuning v2 篇
      • 4.3.4.1 为什么需要P-tuning v2？
      • 4.3.4.2 P-tuning v2 是什么？
      • 4.3.4.3 P-tuning v2 有哪些优点？
      • 4.3.4.4 P-tuning v2 有哪些缺点？
    • 4.3.5 PPT 篇
      • 4.3.5.1 为什么需要PPT ？
      • 4.3.5.2 PPT 核心思想是什么？
      • 4.3.5.3 PPT 具体做法是怎么样？
      • 4.3.5.4 常用的soft prompt初始化方法？
      • 4.3.5.5 PPT 的优点是什么？
      • 4.3.5.6 PPT 的缺点是什么？
  • 4.4 提示学习（Prompting） 优点是什么？
  • 4.5 提示学习（Prompting） 本质是什么？
• 五、指令微调（Instruct-tuning）篇
  • 5.1 为什么需要指令微调（Instruct-tuning）？
  • 5.2 指令微调（Instruct-tuning）是什么？
  • 5.3 指令微调（Instruct-tuning）的优点是什么？
  • 5.4 指令微调（Instruct-tuning） vs 提升学习（Prompting）？
  • 5.5 指令微调（Instruct-tuning） vs 提升学习（Prompting） vs Fine-tuning？
• 六、指令提示微调（Instruct Prompt tuning）篇
  • 6.1 为什么需要指令微调（Instruct-tuning）？
  • 6.2 指令微调（Instruct-tuning） 是什么？
  • 6.3 指令微调（Instruct-tuning） 在不同任务上性能？
• 七、self-instruct篇
  • 7.1 什么是self-instruct？
• 八、Chain-of-Thought 篇
  • 8.1 为什么需要Chain-of-Thought ？
  • 8.2 什么是Chain-of-Thought ？
  • 8.3 Chain-of-Thought 的思路是怎么样的？
  • 8.4 Chain-of-Thought 的优点是什么？
  • 8.5 为什么chain-of-thought 会成功？
• 九、LoRA 篇
  • 9.1 LoRA 篇
    • 9.1.1 LoRA 核心思想是什么？
    • 9.1.2 LoRA 具体思路是什么？
    • 9.1.3 LoRA 优点是什么？
    • 9.1.4 LoRA 缺点是什么？
  • 9.2 AdaLoRA 篇
    • 9.2.1 AdaLoRA 核心思想是什么？
    • 9.2.2 AdaLoRA 实现思路是什么？
  • 9.3 DyLoRA 篇
    • 9.3.1 AdaLoRA 动机是什么？
    • 9.3.2 AdaLoRA 核心思想是什么？
    • 9.3.3 AdaLoRA 优点是什么？
• 十、BitFit 篇
  • 10.1 AdaLoRA 核心思想是什么？
  • 10.2 AdaLoRA 优点是什么？
  • 10.3 AdaLoRA 缺点是什么？

点击查看答案

七、LLMs 面试篇

7.1 【现在达模型LLM，微调方式有哪些？各有什么优缺点？

• 现在达模型LLM，微调方式有哪些？各有什么优缺点？

点击查看答案

7.2 GLM：ChatGLM的基座模型常见面试题

• GLM 的核心是什么？
• GLM 的模型架构是什么？
• GLM 如何进行多任务训练？
• 在进行NLG 时， GLM 如何保证生成长度的未知性？
• GLM 的多任务微调方式有什么差异？
• GLM 的多任务微调方式有什么优点？

点击查看答案

一、基础算法常见面试篇

• 过拟合和欠拟合常见面试篇
  • 一、过拟合和欠拟合是什么？
  • 二、过拟合/高方差（overfiting / high variance）篇
    • 2.1 过拟合是什么及检验方法？
    • 2.2 导致过拟合的原因是什么？
    • 2.3 过拟合的解决方法是什么？
  • 三、欠拟合/高偏差（underfiting / high bias）篇
    • 3.1 欠拟合是什么及检验方法？
    • 3.2 导致欠拟合的原因是什么？
    • 3.3 过拟合的解决方法是什么？

点击查看答案

• BatchNorm vs LayerNorm 常见面试篇
  • 一、动机篇
    • 1.1 独立同分布（independent and identically distributed）与白化
    • 1.2 （ Internal Covariate Shift，ICS）
    • 1.3 ICS问题带来的后果是什么？
  • 二、Normalization 篇
    • 2.1 Normalization 的通用框架与基本思想
  • 三、Batch Normalization 篇
    • 3.1 Batch Normalization（纵向规范化）是什么？
    • 3.2 Batch Normalization（纵向规范化）存在什么问题？
    • 3.3 Batch Normalization（纵向规范化）适用的场景是什么？
    • 3.4 BatchNorm 存在什么问题？
  • 四、Layer Normalization（横向规范化） 篇
    • 4.1 Layer Normalization（横向规范化）是什么？
    • 4.2 Layer Normalization（横向规范化）有什么用？
  • 五、BN vs LN 篇
  • 六、主流Normalization 方法为什么有效？

点击查看答案

• 激活函数常见面试篇

  • 一、动机篇
    • 1.1 为什么要有激活函数？
  • 二、激活函数介绍篇
    • 2.1 sigmoid 函数篇
      • 2.1.1 什么是sigmoid 函数？
      • 2.1.2 为什么选sigmoid 函数作为激活函数？
      • 2.1.3 sigmoid 函数有什么缺点？
    • 2.2 tanh 函数篇
      • 2.2.1 什么是tanh 函数？
      • 2.2.2 为什么选tanh 函数作为激活函数？
      • 2.2.3 tanh 函数有什么缺点？
    • 2.3 relu 函数篇
      • 2.3.1 什么是relu 函数？
      • 2.3.2 为什么选relu 函数作为激活函数？
      • 2.3.3 relu 函数有什么缺点？
  • 三、激活函数选择篇

• 正则化常见面试篇

  • 一、L0，L1，L2正则化篇
    • 1.1 正则化是什么？
    • 1.2 什么是L0 正则化？
    • 1.3 什么是L1 （稀疏规则算子Lasso regularization）正则化？
    • 1.4 什么是L2 正则化（岭回归Ridge Regression 或者权重衰减Weight Decay）正则化？
  • 二、对比篇
    • 2.1 什么是结构风险最小化？
    • 2.2 从结构风险最小化的角度理解L1和L2正则化
    • 2.3 L1 vs L2
  • 三、dropout 篇
    • 3.1 什么是dropout？
    • 3.2 dropout 在训练和测试过程中如何操作？
    • 3.3 dropout 如何防止过拟合?

点击查看答案

• 优化算法及函数常见面试篇
  • 一、动机篇
    • 1.1 为什么需要优化函数？
    • 1.2 优化函数的基本框架是什么?
  • 二、优化函数介绍篇
    • 2.1 梯度下降法是什么?
    • 2.2 随机梯度下降法是什么?
    • 2.3 Momentum 是什么?
    • 2.4 SGD with Nesterov Acceleration 是什么?
    • 2.5 Adagrad 是什么?
    • 2.6 RMSProp/AdaDelta 是什么？
    • 2.7 Adam 是什么?
    • 2.8 Nadam 是什么?
  • 三、优化函数学霸笔记篇

点击查看答案

• 归一化常见面试篇
  • 一、动机篇
    • 1.1 为什么要归一化？
  • 二、介绍篇
    • 2.1 归一化有哪些方法？
    • 2.2 归一化各方法特点？
    • 2.3 归一化的意义？
  • 三、应用篇
    • 3.1 哪些机器学习算法需要做归一化？
    • 3.2 哪些机器学习算法不需要做归一化？

点击查看答案

• 判别式（discriminative）模型vs. 生成式(generative)模型常见面试篇
  • 一、判别式模型篇
    • 1.1 什么是判别式模型？
    • 1.2 判别式模型是思路是什么？
    • 1.3 判别式模型的优点是什么？
  • 二、生成式模型篇
    • 2.1 什么是生成式模型？
    • 2.2 生成式模型是思路是什么？
    • 2.3 生成式模型的优点是什么？
    • 2.4 生成式模型的缺点是什么？

点击查看答案

二、机器学习算法篇常见面试篇

• 逻辑回归常见面试篇
  • 一、介绍篇
    • 1.1什么是逻辑回归
    • 1.2逻辑回归的优势
  • 二、推导篇
    • 2.1逻辑回归推导
    • 2.2求解优化

点击查看答案

• 支持向量机常见面试篇
  • 一、原理篇
    • 1.1 什么是SVM？
      • Qa
    • 1.2 SVM怎么发展的？
    • 1.3 SVM存在什么问题？
      • Qa
  • 二、算法篇
    • 2.1 什么是块算法？
    • 2.2 什么是分解算法？
    • 2.3 什么是序列最小优化算法？
    • 2.4 什么是增量算法？
      • Qa
  • 三、其他SVM篇
    • 3.1 什么是最小二次支持向量机？
    • 3.2 什么是模糊支持向量机？
    • 3.3 什么是粒度支持向量机？
    • 3.4 什么是多类训练算法？
    • 3.5 什么是孪生支持向量机？
    • 3.6 什么是排序支持向量机？
      • Qa
  • 四、应用篇
    • 4.1 模式识别
    • 4.2 网页分类
    • 4.3 系统建模与系统辨识
    • 4.4 其他
  • 五、对比篇
  • 六、拓展篇

点击查看答案

• 集成学习常见面试篇
  • 一、动机
  • 二、集成学习介绍篇
    • 2.1 介绍篇
      • 2.1.1 集成学习的基本思想是什么？
      • 2.1.2 集成学习为什么有效？
  • 三、 Boosting 篇
    • 3.1 用一句话概括Boosting？
    • 3.2 Boosting 的特点是什么？
    • 3.3 Boosting 的基本思想是什么？
    • 3.4 Boosting 的特点是什么？
    • 3.5 GBDT 是什么？
    • 3.6 Xgboost 是什么？
  • 四、Bagging 篇
    • 4.1 用一句话概括Bagging？
    • 4.2 Bagging 的特点是什么？
    • 4.3 Bagging 的基本思想是什么？
    • 4.4 Bagging 的基分类器如何选择？
    • 4.5 Bagging 的优点是什么？
    • 4.6 Bagging 的特点是什么？
    • 4.7 随机森林是什么？
  • 五、 Stacking 篇
    • 5.1 用一句话概括Stacking ？
    • 5.2 Stacking 的特点是什么？
    • 5.3 Stacking 的基本思路是什么？
  • 六、常见问题篇
    • 6.1 为什么使用决策树作为基学习器？
    • 6.2 为什么不稳定的学习器更适合作为基学习器？
    • 6.3 哪些模型适合作为基学习器？
    • 6.4 Bagging 方法中能使用线性分类器作为基学习器吗？ Boosting 呢？
    • 6.5 Boosting/Bagging 与偏差/方差的关系？
  • 七、对比篇
    • 7.1 LR vs GBDT?

点击查看答案

九、【关于Python 】那些你不知道的事

• 【关于Python 】那些你不知道的事
  • 一、什么是*args 和**kwargs？
    • 1.1 为什么会有*args 和**kwargs？
    • 1.2 *args 和**kwargs 的用途是什么？
    • 1.3 *args 是什么？
    • 1.4 **kwargs是什么？
    • 1.5 *args 与**kwargs 的区别是什么？
  • 二、什么是装饰器？
    • 2.1 装饰器是什么？
    • 2.2 装饰器怎么用？
  • 三、Python垃圾回收（GC）
    • 3.1 垃圾回收算法有哪些？
    • 3.2 引用计数（主要）是什么？
    • 3.3 标记-清除是什么？
    • 3.4 分代回收是什么？
  • 四、python的sorted函数对字典按key排序和按value排序
    • 4.1 python 的sorted函数是什么？
    • 4.2 python 的sorted函数举例说明？
  • 五、直接赋值、浅拷贝和深度拷贝
    • 5.1 概念介绍
    • 5.2 介绍
    • 5.3 变量定义流程
    • 5.3 赋值
    • 5.4 浅拷贝
    • 5.5 深度拷贝
    • 5.6 核心：不可变对象类型and 可变对象类型
      • 5.6.1 不可变对象类型
      • 5.6.2 可变对象类型
  • 六、进程、线程、协程
    • 6.1 进程
      • 6.1.1 什么是进程？
      • 6.1.2 进程间如何通信？
    • 6.2 线程
      • 6.2.1 什么是线程？
      • 6.2.2 线程间如何通信？
    • 6.3 进程vs 线程
      • 6.3.1 区别
      • 6.3.2 应用场景
    • 6.4 协程
      • 6.4.1 什么是协程？
      • 6.4.2 协程的优点？
  • 七、全局解释器锁
    • 7.1 什么是全局解释器锁？
    • 7.2 GIL有什么作用？
    • 7.3 GIL有什么影响？
    • 7.4 如何避免GIL带来的影响？

十、【关于Tensorflow 】那些你不知道的事

• 【关于Tensorflow 损失函数】 那些你不知道的事
  • 一、动机
  • 二、什么是损失函数？
  • 三、目标函数、损失函数、代价函数之间的关系与区别？
  • 四、损失函数的类别
    • 4.1 回归模型的损失函数
      • （1）L1正则损失函数（即绝对值损失函数）
      • （2）L2正则损失函数（即欧拉损失函数）
      • （3）均方误差（MSE, mean squared error）
      • （4）Pseudo-Huber 损失函数
    • 4.2 分类模型的损失函数
      • （1）Hinge损失函数
      • （2）两类交叉熵（Cross-entropy）损失函数
      • （3）Sigmoid交叉熵损失函数
      • （4）加权交叉熵损失函数
      • （5）Softmax交叉熵损失函数
      • (6) SparseCategoricalCrossentropy vs sparse_categorical_crossentropy
  • 5。概要