Beranda>Terkait pemrograman>Kode sumber lainnya
Unduh

NLP tidak umum

PENDAHULUAN: Proyek ini adalah catatan studi dan materi yang disiapkan oleh wawancara pemrosesan bahasa alami (NLP) berdasarkan wawancara dan pengalaman pribadi. Materi ini saat ini berisi akumulasi pertanyaan wawancara di berbagai bidang pemrosesan bahasa alami.

> Wawancara NLP dan Exchange Group (Catatan: Jika Anda penuh, Anda dapat menambahkan editor WX: yzyykm666 untuk bergabung dengan grup!)

4. Wawancara Umum untuk Algoritma Pembelajaran NLP

4.1 Wawancara Umum untuk Ekstraksi Informasi

4.1.1 Wawancara Umum untuk Penamaan Pengakuan Entitas
  • Algoritma markov tersembunyi hmm wawancara umum
    • 1. Pengantar Informasi Dasar
      • 1.1 Apa itu model grafik probabilitas?
      • 1.2 Apa itu bandara acak?
    • 2. Pengantar proses Markov
      • 2.1 Apa proses Markov?
      • 2.2 Apa ide inti dari proses Markov?
    • AKU AKU AKU. Algoritma Hidden Markov
      • 3.1 Pengantar Algoritma Markov Tersembunyi
        • 3.1.1 Apa algoritma Markov tersembunyi?
        • 3.1.2 Apa dua urutan dalam algoritma Markov tersembunyi?
        • 3.1.3 Apa tiga matriks dalam algoritma Markov tersembunyi?
        • 3.1.4 Apa dua asumsi dalam algoritma Markov tersembunyi?
        • 3.1.5 Apa alur kerja dalam algoritma Markov tersembunyi?
      • 3.2 Proses Komputasi Model Algoritma Markov Tersembunyi
        • 3.2.1 Apa proses pelatihan pembelajaran algoritma Markov tersembunyi?
        • 3.2.2 Apa proses anotasi urutan (decoding) dari algoritma Markov tersembunyi?
        • 3.2.3 Apa proses probabilitas urutan algoritma Markov tersembunyi?
      • 3.3 Masalah Algoritma Markov Tersembunyi

Klik untuk melihat jawabannya

  • MAXIMUM Entropy Markov Model MEMM Wawancara Umum
    • 4. Model Markov Entropy Maksimum (MEMM)
      • 4.1 Motivasi Model Markov Markov Maksimum (MEMM)
        • 4.1.1 Apa masalahnya dengan HMM?
      • 4.2 Pengantar Model Markov Entropi Maksimum (MEMM)
        • 4.2.1 Seperti apa model Markov Markov (MEMM) maksimum?
        • 4.2.2 Model Markov Entropi Maksimum (MEMM) Bagaimana cara menyelesaikan masalah HMM?
      • 4.3 Masalah Model Markov Markov Maksimum (MEMM)

Klik untuk melihat jawabannya

  • Wawancara umum bandara acak (CRF)
    • 5. Bidang acak bersyarat (CRF)
      • 5.1 Motif CRF
        • 5.1.1 Apa masalahnya dengan HMM dan MEMM?
      • 5.2 CRF PENDAHULUAN
        • 5.2.1 Apa itu CRF?
        • 5.2.2 Apa ide utama CRF?
        • 5.2.3 Apa definisi CRF?
        • 5.2.4 Apa proses CRF?
      • 5.3 Pro dan kontra CRF
        • 5.3.1 Apa keuntungan CRF?
        • 5.3.2 Apa kelemahan CRF?
      • 5.4 Reproduksi CRF?
    • 6. Perbandingan
      • 6.1 Apa perbedaan antara model CRF dan model HMM dan MEMM?

Klik untuk melihat jawabannya

  • Wawancara umum dnn-crf
    • 1. Informasi Dasar
      • 1.1 Apa indikator evaluasi untuk penamaan pengakuan entitas?
    • 2. Metode Pengakuan Entitas Penamaan Tradisional
      • 2.1 Apa metode berbasis aturan pengakuan entitas penamaan?
      • 2.2 Apa metode pengenalan entitas penamaan berdasarkan pembelajaran tanpa pengawasan?
      • 2.3 Apa metode pengenalan entitas bernama berdasarkan pembelajaran yang diawasi berbasis fitur?
    • 3. Metode Pengenalan Entitas Penamaan Berdasarkan Pembelajaran mendalam
      • 3.1 Apa keuntungan dari metode pengenalan entitas yang disebutkan berdasarkan pembelajaran mendalam dibandingkan dengan metode pengenalan entitas yang disebutkan berdasarkan pembelajaran mesin?
      • 3.2 Apa struktur metode pengakuan entitas yang disebutkan berdasarkan pembelajaran mendalam?
      • 3.3 Apa itu lapisan input terdistribusi dan apa metode?
      • 3.4 Encoder Teks
        • 3.4.1 BILSTM-CRF
          • 3.4.1.1 Apa itu BILSTM-CRF?
          • 3.4.1.2 Mengapa Menggunakan Bilstm?
        • 3.4.2 IDCNN-CRF
          • 3.4.2.1 Apa itu CNN melebar?
          • 3.4.2.2 Mengapa ada CNN yang melebar?
          • 3.4.2.3 Apa keuntungan dari CNN yang melebar?
          • 3.4.2.4 Pengantar IDCNN-CRF
      • 3.5 Decoder Tag
        • 3.5.1 Apa itu tag decoder?
        • 3.5.2 Pengantar MLP+Lapisan Softmax?
        • 3.5.3 Pengantar Lapisan CRF bidang acak bersyarat?
        • 3.5.4 Pengantar lapisan RNN dari jaringan saraf berulang?
        • 3.5.3 Pengantar Lapisan Jaringan Pointer?
    • 4. Perbandingan
      • 4.1 CNN-CRF vs BILSTM-CRF vs IDCNN-CRF?
      • 4.2 Mengapa DNN perlu menambahkan CRF?
      • 4.3 CRF Dalam TensorFlow vs CRF di Toolkit Discrete?

Klik untuk melihat jawabannya

  • Lapangan Tiongkok Ner Wawancara Umum
    • 1. Motif
      • 1.1 Apa perbedaan antara pengakuan entitas yang disebutkan oleh orang Cina dan pengakuan entitas yang disebutkan oleh bahasa Inggris?
    • 2. Peningkatan Kosakata
      • 2.1 Apa itu peningkatan kosa kata?
      • 2.2 Mengapa metode "Peningkatan Kosakata" efektif untuk tugas -tugas NER Tiongkok?
      • 2.3 Apa metode peningkatan kosa kata?
      • 2.4 Arsitektur Dinamis
        • 2.4.1 Apa itu Arsitektur Dinamis?
        • 2.4.2 Apa metode umum?
        • 2.4.3 Apa itu kisi LSTM dan apa masalahnya?
        • 2.4.4 Apa yang datar dan apa masalahnya?
      • 2.5 Paradigma penyematan adaptif
        • 2.5.1 Apa paradigma penyematan adaptif?
        • 2.5.2 Apa metode umum?
        • 2.5.3 Apa itu WC-LSTM dan apa masalahnya?
    • 3. Peningkatan Informasi Jenis Kosakata/Entitas
      • 3.1 Apa itu Peningkatan Informasi Jenis Kosakata/Entitas?
      • 3.2 Mengapa metode "Kosakata/Entitas Jenis Informasi Peningkatan" Efektif untuk Tugas NER Tiongkok?
      • 3.3 Apa metode untuk meningkatkan informasi jenis kosa kata/entitas?
      • 3.4 Apa itu Lex-Bert?

Klik untuk melihat jawabannya

  • Trik pengakuan entitas yang disebutkan wawancara umum
    • Trik 1: Pencocokan Kamus Domain
    • Trik 2: Ekstraksi Aturan
    • Trik 3: Pemilihan Vektor Kata: Vektor kata atau vektor kata?
    • Trik 4: Bagaimana memilih ekstraktor fitur?
    • Trik 5: Bagaimana cara menangani nama terkemuka?
    • Trik 6: Bagaimana menangani data pelabelan yang tidak mencukupi?
    • Trik 7: Cara menangani pengakuan entitas bernama bersarang
      • 7.1 Apa itu Nesting Entity?
      • 7.2 Perbedaan dari tugas pengakuan entitas tradisional bernama
      • 7.3 Solusi:
        • 7.3.1 Metode 1: Anotasi urutan
        • 7.3.2 Metode 2: Anotasi Pointer
        • 7.3.3 Metode 3: Anotasi header panjang
        • 7.3.4 Metode 4: Pengaturan fragmen
    • Trik 8: Mengapa metode "Peningkatan Kosakata" efektif untuk tugas -tugas NER Tiongkok?
    • Trik 9: Apa yang harus saya lakukan jika rentang entitas NER terlalu panjang?
    • Trik 10: Masalah noise data pelabelan ner?
    • Trik 11: Mengingat dua tugas pengenalan entitas yang disebutkan, satu tugas memiliki cukup data dan yang lainnya memiliki sedikit data. Apa yang bisa saya lakukan?
    • Trik 12: Apakah masalah ketidakseimbangan data pelabelan ner?

Klik untuk melihat jawabannya

4.1.2 Wawancara Umum untuk Menggambar Hubungan
  • Menggambar hubungan wawancara umum
    • 1. Motif
      • 1.1 Apa itu ekstraksi hubungan?
      • 1.2 Apa jenis teknik ekstraksi hubungan?
      • 1.3 Bagaimana proses ekstraksi hubungan umum dilakukan?
    • 2. Ekstraksi hubungan klasik
      • 2.1 Apa yang dirujuk oleh metode pencocokan template? Apa pro dan kontra?
      • 2.2 Apa yang dirujuk oleh ekstraksi hubungan pengawasan jarak jauh? Apa pro dan kontra?
      • 2.3 Apa itu tumpang tindih hubungan? Masalah hubungan yang kompleks?
      • 2.4 Apa itu ekstraksi sendi? Apa kesulitannya?
      • 2.5 Apa keseluruhan metode ekstraksi sendi? Apa kekurangan mereka?
      • 2.6 Pengantar metode ekstraksi bersama berdasarkan parameter bersama?
      • 2.7 Pengantar decoding bersama berdasarkan decoding bersama?
      • 2.8 Apa saja teknologi mutakhir dan tantangan dalam ekstraksi hubungan entitas? Bagaimana menyelesaikan ekstraksi hubungan entitas di bawah sumber daya rendah dan sampel yang kompleks?
    • 3. Ekstraksi hubungan tingkat dokumen
      • 3.1 Apa perbedaan antara ekstraksi hubungan tingkat dokumen dan ekstraksi hubungan klasik?
      • 3.2 Masalah apa yang dihadapi dalam ekstraksi hubungan tingkat dokumen?
      • 3.3 Apa metode untuk ekstraksi hubungan tingkat dokumen?
        • 3.3.1 Bagaimana Ekstraksi Hubungan Dokumen Berdasarkan Bert-Like Dilakukan?
        • 3.3.2 Bagaimana ekstraksi hubungan dokumen berbasis grafik dilakukan?
      • 3.4 Apa set data umum untuk ekstraksi hubungan tingkat dokumen dan metode evaluasi mereka?

Klik untuk melihat jawabannya

4.1.3 Ekstraksi Acara Wawancara Umum
  • Menggambar acara wawancara umum
    • 1. Prinsip
      • 1.1 Apa itu acara?
      • 1.2 Apa itu ekstraksi acara?
      • 1.3 Apa persyaratan dan tugas dasar yang terlibat dalam ekstraksi peristiwa dalam penilaian ACE?
      • 1.4 Bagaimana ekstraksi acara berkembang?
      • 1.5 Apa masalah dengan ekstraksi peristiwa?
    • 2. Tugas Dasar
      • 2.1 memicu deteksi kata
        • 2.1.1 Deteksi kata pemicu apa?
        • 2.1.2 Apa metode untuk memicu deteksi kata?
      • 2.2 Jenis Identifikasi
        • 2.2.1 Apa itu pengenalan tipe?
        • 2.2.2 Apa metode identifikasi jenis?
      • 2.3 Pengakuan Peran
        • 2.3.1 Apa itu pengakuan peran?
        • 2.3.2 Apa metode pengenalan peran?
      • 2.4 Deteksi Argumen
        • 2.4.1 Apa itu Deteksi Argumen?
        • 2.4.2 Apa metode deteksi argumen?
    • 3. Metode umum
      • 3.1 Bagaimana cara menggunakan metode pencocokan pola dalam ekstraksi acara?
      • 3.2 Bagaimana metode pembelajaran mesin statistik digunakan dalam ekstraksi acara?
      • 3.3 Bagaimana metode pembelajaran mendalam digunakan dalam ekstraksi acara?
    • Iv. Dataset dan indikator evaluasi
      • 4.1 Apa set data bahasa Inggris yang umum dalam ekstraksi acara?
      • 4.2 Apa set data Cina umum dalam ekstraksi acara?
      • 4.3 Apa indikator evaluasi untuk ekstraksi peristiwa? Bagaimana cara menghitungnya?
    • 5. Perbandingan
      • 5.1 Apa persamaan dan perbedaan antara ekstraksi peristiwa dan pengakuan entitas yang disebutkan (mis. Ekstraksi entitas)?
      • 5.2 Apa persamaan dan perbedaan antara ekstraksi peristiwa dan ekstraksi hubungan?
      • 5.3 Apa itu peta faktanya? Apa jenis hubungan acara? Bagaimana cara membangun peta rasional? Apa bidang teknis utama dan hotspot pengembangan saat ini?
    • 6. Aplikasi
    • 7. Ekspansi
      • 7.1 Ringkasan Makalah Ekstraksi Acara
      • 7.2 FAQ Ekstraksi Acara

4.2 Wawancara Umum untuk Algoritma Pra-Pelatihan NLP

  • 【Tentang tf-idf】 hal-hal yang tidak Anda ketahui
    • 1. Satu-panas
      • 1.1 Mengapa ada satu-panas?
      • 1.2 Apa itu satu-panas?
      • 1.3 Apa karakteristik satu-panas?
      • 1.4 Apa masalahnya dengan satu panas?
    • 2. TF-IDF
      • 2.1 Apa itu TF-IDF?
      • 2.2 Bagaimana TF-IDF mengevaluasi pentingnya kata-kata?
      • 2.3 Apa Ide TF-IDF?
      • 2.4 Apa rumus perhitungan untuk TF-IDF?
      • 2.5 Bagaimana cara menggambarkan TF-IDF?
      • 2.6 Apa keuntungan dari TF-IDF?
      • 2.7 Apa kelemahan TF-IDF?
      • 2.8 Aplikasi TF-IDF?

Klik untuk melihat jawabannya

  • 【Tentang Word2Vec】 Hal yang Tidak Anda Ketahui
    • 1. Pengantar WordVec
      • 1.1 Apa arti WordVec?
      • 1.2 Apa arti CBOW di WordVec?
      • 1.3 Apa arti skip-gram di WordVec?
      • 1.4 Mana yang lebih baik untuk CBOW vs Skip-Gram?
    • 2. Artikel Optimalisasi WordVec
      • 2.1 Apa pohon Hoffman di Word2vec?
      • 2.2 Mengapa Anda perlu menggunakan Hoffman Tree di Word2Vec?
      • 2.3 Apa manfaat menggunakan pohon Hoffman di Word2vec?
      • 2.4 Mengapa pengambilan sampel negatif digunakan dalam Word2vec?
      • 2.5 Seperti apa pengambilan sampel negatif di Word2Vec?
      • 2.6 Apa metode pengambilan sampel dari pengambilan sampel negatif di Word2vec?
    • 3. Perbandingan WordVec
      • 3.1 Apa perbedaan antara Word2Vec dan NNLM? (Word2Vec vs NNLM)
      • 3.2 Apa perbedaan antara Word2VEC dan TF-IDF dalam perhitungan kesamaan?
    • 4. Bab Praktis Word2Vec
      • 4.1 Trik Pelatihan Word2Vec, Seberapa besar pengaturan jendela?
      • 4.1 Trik Pelatihan Word2Vec, Latitude Vektor Kata, apa efek parameter besar dan kecil, dan lainnya?

Klik untuk melihat jawabannya

  • 【Tentang FastText】 Hal yang Tidak Anda Ketahui
    • 1. Motivasi FastText
      • 1.1 Apa itu model level kata?
      • 1.2 Apa masalah dengan model tingkat kata?
      • 1.3 Apa itu model tingkat karakter?
      • 1.4 Keuntungan Model Tingkat Karakter?
      • 1.5 Apakah ada masalah dengan model tingkat karakter?
      • 1.6 Solusi untuk masalah model tingkat karakter?
    • 2. Pengantar Informasi N-Gram dalam Kata (Informasi N-Gram Subword)
      • 2.1 Pendahuluan
      • 2.2 Apa itu FastText?
      • 2.3 Apa struktur FastText?
      • 2.4 Mengapa FastText menggunakan informasi n-gram dalam kata (informasi subword n-gram)?
      • 2.5 Pengantar Informasi N-Gram di FastText Word (Subword N-Gram Informasi)?
      • 2.6 Proses pelatihan informasi n-gram di FastText Word?
      • 2.7 Apakah ada masalah dengan informasi N-gram di kata FastText?
    • 3. Pengantar Regresi Softmax Hierarkis (Hierarkis Softmax)
      • 3.1 Mengapa menggunakan regresi softmax hierarkis?
      • 3.2 Apa gagasan regresi softmax hierarkis?
      • 3.3 Apa langkah -langkah untuk regresi softmax hierarkis?
    • 4. Apakah ada masalah dengan FastText?

Klik untuk melihat jawabannya

  • 【Tentang Elmo】 Hal yang Tidak Anda Ketahui
    • 1. Motivasi Elmo
      • 1.1 Mengapa ada Elmo?
    • 2. PENDAHULUAN ELMO
      • 2.1 Apa saja fitur Elmo?
      • 2.2 Apa yang dipikirkan Elmo?
    • 3. Pertanyaan Elmo
      • 3.1 Apa masalah dengan Elmo?

Klik untuk melihat jawabannya

4.3 Bert Wawancara Umum

  • Wawancara umum Bert
    • 1. Motif
      • 1.1 [Sejarah Evolusi] Apakah ada masalah dengan satu-panas?
      • 1.2 [Sejarah Evolusi] Ada masalah dengan WordVec?
      • 1.3 [Sejarah Evolusi] Apakah ada masalah dengan FastText?
      • 1.4 [Sejarah Evolusi] Apakah ada masalah dengan Elmo?
    • 2. Bert
      • 2.1 Bert Pendahuluan
        • 2.1.1 【Bert】 Apa itu Bert?
        • 2.1.2 【Bert】 Bert tiga poin kunci?
      • 2.2 Karakterisasi Input dan Output Bert
        • 2.2.1 [Bert] Seperti apa karakterisasi input dan output Bert?
      • 2.3 【Bert】 Bert pra-pelatihan
        • 2.3.1 【Bert】 Tugas Pra-Pelatihan Bert Pendahuluan
        • 2.3.2 【Bert】 Bab LM Bert Pra-Pelatihan Bert
          • 2.3.2.1 【Bert】 Mengapa Bert membutuhkan tugas pra-pelatihan bertopeng LM?
          • 2.3.2.2 【Bert】 Bagaimana melakukan tugas pra-pelatihan Bert LM?
          • 2.3.2.3 【Bert】 Apakah ada masalah dengan tugas pra-pelatihan Bert LM?
          • 2.3.2.4 【solusi Bert】 untuk ketidakcocokan antara pra-pelatihan dan penyesuaian?
        • 2.3.3 【Bert】 Bert Pra-Pelatihan Tugas Prediksi Kalimat Berikutnya
          • 2.3.3.1 [Bert] Mengapa Bert membutuhkan tugas-tugas pra-pelatihan berikutnya prediksi kalimat selanjutnya?
          • 2.3.3.2 【Bert】 Bagaimana melakukan prediksi kalimat berikutnya dalam tugas pra-pelatihan Bert?
      • 2.4 【Bert】 Artikel yang berpaling halus?
        • 2.4.1 【Bert】 Mengapa Bert membutuhkan pemutaran halus?
        • 2.4.2 【Bert】 Bagaimana cara berbalik di Bert?
      • 2.5 【Bert】 Bert Fungsi Kehilangan?
        • 2.5.1 [Bert] Apa fungsi kerugian yang sesuai dengan dua tugas pra-pelatihan Bert (dinyatakan dalam bentuk rumus)?
    • 3. Perbandingan?
      • 3.1 [Kontras] Apa masalah polisynthetics?
      • 3.2 [Perbandingan] Mengapa Word2Vec tidak dapat memecahkan masalah polisinonim?
      • 3.3 [Perbandingan] Apa perbedaan antara GPT dan Bert?
      • 3.4 [Perbandingan] Mengapa Elmo, GPT, dan Bert dapat memecahkan masalah polisinonim? (Ambil Elmo sebagai contoh)

Klik untuk melihat jawabannya

  • 【Tentang analisis kode sumber Bert saya tubuh utama] hal -hal yang tidak Anda ketahui
  • 【Tentang Analisis Kode Sumber Bert II Bab Pra-Pelatihan】 Hal yang Tidak Anda Ketahui
  • 【Tentang Analisis Kode Sumber Bert III Bab Fine-Tuning】 Hal yang Tidak Anda Ketahui
  • [Tentang Analisis Kode Sumber Bert IV Artikel Generasi Vektor Kalimat] Hal -hal yang tidak Anda ketahui
  • [Tentang Analisis Kode Sumber Bert v Bab Kesamaan Teks] Hal -hal yang tidak Anda ketahui
4.3.1 Wawancara Umum untuk Kompresi Model Bert
  • Wawancara umum kompresi model Bert
    • 1. Motivasi kompresi model Bert
    • 2. Tabel Perbandingan Kompresi Model Bert
    • 3. Pengantar Metode Kompresi Model Bert
      • 3.1 Faktorisasi Low-Rank dan Berbagi Parameter Lintas Lapisan Metode Kompresi Model Bert
        • 3.1.1 Apa itu faktorisasi peringkat rendah?
        • 3.1.2 Apa itu berbagi parameter cross-layer?
        • 3.1.3 Metode yang digunakan oleh Albert?
      • 3.2 Distilasi Metode Kompresi Model Bert
        • 3.2.1 Apa itu distilasi?
        • 3.2.2 Makalah apa yang ada menggunakan distilasi model? Izinkan saya memperkenalkannya secara singkat?
      • 3.3 Kuantifikasi Metode Kompresi Model Bert
        • 3.3.1 Apa itu kuantifikasi?
        • 3.3.2 Q-Bert: Kuantisasi presisi ultra rendah berbasis Hessian dari Bert 【Kuantifikasi】
      • 3.4 METODE METODE KOMPRESI MODEL BERT
        • 3.4.1 Apa itu pemangkasan?
    • 4. Apakah ada masalah dengan kompresi model?

Klik untuk melihat jawabannya

4.3.2 Wawancara Umum untuk Seri Model Bert
  • Apakah Anda tahu xlnet? Bisakah kamu memberitahuku? Apa perbedaan antara Bert?
  • Apakah Anda tahu Roberta? Bisakah kamu memberitahuku? Apa perbedaan antara Bert?
  • Apakah Anda tahu Spanbert? Bisakah kamu memberitahuku? Apa perbedaan antara Bert?
  • Apakah Anda tahu Misa? Bisakah kamu memberitahuku? Apa perbedaan antara Bert?

Klik untuk melihat jawabannya

4.4 Wawancara Umum untuk Klasifikasi Teks

  • Wawancara umum untuk klasifikasi teks
    • 1. Proposisi abstrak
      • 1.1 Apa kategori tugas klasifikasi? Apa karakteristik mereka?
      • 1.2 Apa perbedaan antara tugas klasifikasi teks dibandingkan dengan tugas klasifikasi di bidang lain?
      • 1.3 Apa perbedaan antara tugas klasifikasi teks dan tugas lain di bidang teks?
      • 1.4 Proses klasifikasi teks?
    • 2. Preprocessing data
      • 2.1 Apa metode preprocessing data untuk tugas klasifikasi teks?
      • 2.2 Kata apa metode dan alat participle yang telah Anda gunakan?
      • 2.3 Bagaimana cara partisipan teks Cina?
      • 2.4 Apa prinsip metode segmentasi kata berdasarkan pencocokan string?
      • 2.5 Bagaimana model bahasa statistik diterapkan pada kata participle? Probabilitas maksimum N-gram Participle?
      • 2.6 Apa metode segmentasi kata berdasarkan anotasi urutan?
      • 2.7 Apa anotasi bagian-of-speech berdasarkan LSTM (Bi-)?
      • 2.8 Apa perbedaan antara ekstraksi batang dan restorasi bentuk kata?
    • 3. Ekstraksi fitur
      • 3.1 (spesifik) Karakteristik apa yang dapat digunakan dalam tugas klasifikasi teks?
      • 3.2 (untuk teks Barat) Apa perbedaan antara menggunakan kata -kata dan menggunakan huruf sebagai karakteristik?
      • 3.3 Bisakah Anda memperkenalkan model kata -kata secara singkat?
      • 3.4 N-Gram
        • 3.4.1 Apa itu Sintaks N-Method? Mengapa Menggunakan N-Gram?
        • 3.4.2 Apa batasan algoritma N-gram?
      • 3.5 Pemodelan Topik
        • 3.5.1 Pengantar Tugas Pemodelan Topik?
        • 3.5.2 Metode Umum Pemodelan Topik
        • 3.5.3 Apa yang dilakukan algoritma TF-IDF? Pengantar singkat untuk algoritma TF-IDF
        • 3.5.4 Apa arti TF-IDF tinggi?
        • 3.5.5 Kekurangan TF-IDF
      • 3.6 Kesamaan teks
        • 3.6.1 Bagaimana cara menghitung jarak antara dua paragraf teks?
        • 3.6.2 Apa itu jarak jaccard?
        • 3.6.3 Apa perbedaan antara koefisien dadu dan koefisien jaccard?
        • 3.6.4 Hal yang sama adalah jarak pengeditan, apa perbedaan antara jarak levinstein dan jarak hamming?
        • 3.6.5 Tulis pertanyaan pemrograman tentang menghitung jarak pengeditan (jarak Lewinstein)?
    • 4. Model
      • 4.1 FastText
        • 4.1.1 Proses klasifikasi FastText?
        • 4.1.2 Apa keuntungan dari FastText?
      • 4.2 Textcnn
        • 4.2.1 Proses TextCnn Melakukan Klasifikasi Teks?
        • 4.2.2 Parameter apa yang dapat disesuaikan oleh TextCnn?
        • 4.2.3 Saat menggunakan CNN sebagai pengklasifikasi teks, informasi apa yang disesuaikan dengan saluran berbeda dengan teks?
        • 4.2.4 Berapa panjang dan lebar kernel konvolusi di Textcnn?
        • 4.2.5 Apa perbedaan antara operasi pengumpulan di TextCNN dan Operasi Pooling di CNN umum?
        • 4.2.6 Keterbatasan TextCnn?
      • 4.3 dpcnn
        • 4.3.1 Bagaimana cara menyelesaikan tugas klasifikasi teks panjang?
        • 4.3.2 Perkenalkan secara singkat perbaikan model DPCNN dibandingkan dengan TextCnn?
      • 4.4 Textrcnn
        • 4.4.1 Perkenalkan secara singkat perbaikan Textrcnn dibandingkan dengan TextCnn?
      • 4.5 RNN+Perhatian
        • 4.5.1 Gagasan RNN+Perhatian untuk Tugas Klasifikasi Teks, dan mengapa mekanisme perhatian/perhatian perlu ditambahkan?
      • 4.6 GNN Graph Neural Network
        • 4.6.1 Bagaimana GNN Graph Neural Network diterapkan pada bidang klasifikasi teks?
      • 4.7 Transformer
        • 4.7.1 Bagaimana cara menerapkan model pra-terlatih berdasarkan transformator ke bidang klasifikasi teks?
      • 4.8 Model pra-terlatih
        • 4.8.1 Model pra-terlatih apa yang Anda ketahui? Apa karakteristik mereka?
    • V. Fungsi Kehilangan
      • 5.1 Fungsi Aktivasi Sigmoid
        • 5.1.1 Pengantar fungsi aktivasi sigmoid yang digunakan untuk masalah klasifikasi biner?
        • 5.1.2 Apa kelemahan Sigmod?
      • 5.2 Fungsi Aktivasi Softmax
        • 5.2.1 Apa fungsi softmax?
        • 5.2.2 Bagaimana cara menemukan turunan fungsi softmax?
      • 5.3 Apa fungsi kerugian lain yang digunakan untuk masalah klasifikasi?
    • 6. Evaluasi model dan perbandingan algoritma
      • 6.1 Apa saja algoritma evaluasi dan indikator yang digunakan dalam tugas klasifikasi teks?
      • 6.2 Pengantar singkat untuk matriks kebingungan dan kappa?

Klik untuk melihat jawabannya

  • Trik klasifikasi teks wawancara umum
    • 1. Bagaimana cara preprocess data klasifikasi teks?
    • 2. Bagaimana memilih model pra-terlatih klasifikasi teks?
    • 3. Bagaimana cara mengoptimalkan parameter klasifikasi teks?
    • 4. Apa tugas sulit klasifikasi teks?
    • 5. Konstruksi sistem pelabelan klasifikasi teks?
    • 6. Konstruksi Strategi Klasifikasi Teks?

Klik untuk melihat jawabannya

  • Gunakan metode pencarian untuk melakukan wawancara umum untuk klasifikasi teks
    • Mengapa kita perlu menggunakan pencarian untuk mengklasifikasikan teks?
    • Apa gagasan klasifikasi teks berdasarkan metode pencarian?
    • Bagaimana cara membangun perpustakaan penarikan untuk metode yang diambil?
    • Bagaimana cara melakukan tahap pelatihan dari metode pencarian?
    • Bagaimana melakukan tahap prediksi dari metode pencarian?
    • Apa skenario yang berlaku untuk klasifikasi teks menggunakan metode pencarian?

Klik untuk melihat jawabannya

4.5 Wawancara Umum untuk Pencocokan Teks

  • Model pencocokan teks wawancara umum ESIM
    • Mengapa Anda membutuhkan ESIM?
    • Bagaimana dengan memperkenalkan model ESIM?

Klik untuk melihat jawabannya

  • Wawancara umum untuk Bert dalam tugas pencocokan kesamaan semantik
    • 1. Tugas Klasifikasi Pasangan Kalimat: Gunakan CLS
    • 2. Kesamaan kosinus
    • 3. Perbedaan antara teks panjang dan pendek
    • 4. Kalimat/kata embedding
    • 5. Metode Jaringan Siam

Klik untuk melihat jawabannya

4.6 Wawancara Umum untuk Sistem Tanya Jawab

4.6.1 Wawancara Umum untuk Sistem Tanya Jawab Berbasis Pencarian FAQ
  • 1. Motivasi
    • 1.1 Motivasi Sistem Tanya Jawab?
    • 1.2 Apa sistem tanya jawab?
  • 2. Pengantar Sistem Tanya Jawab Berbasis Pencarian FAQ
    • 2.1 Apa sistem tanya jawab berbasis pencarian FAQ?
    • 2.2 Apa inti dari QA Standar Pencocokan Kueri?
  • 3. Solusi Sistem Q&A Berbasis Pencarian FAQ
    • 3.1 Apa solusi yang umum digunakan?
    • 3.2 Mengapa QQ cocok dengan lebih umum digunakan?
      • 3.2.1 Apa keuntungan pencocokan QQ?
      • 3.2.2 Apa ruang semantik untuk pencocokan QQ?
      • 3.2.3 Apa stabilitas korpus pencocokan QQ?
      • 3.2.4 Apa decoupling dari Jawaban Bisnis Pencocokan QQ dan Model Algoritma?
      • 3.2.5 Apa penemuan dan deduplikasi masalah pencocokan QQ baru?
      • 3.2.6 Apa kecepatan berjalan online pencocokan QQ?
    • 3.3 Apa proses pemrosesan umum untuk pencocokan QQ? [Dengan asumsi Standar Masalah Bank telah diproses]
  • 4. Konstruksi Bank Masalah Standar FAQ
    • 4.1 Bagaimana menemukan masalah standar dalam FAQ?
    • 4.2 Bagaimana cara membagi FAQ?
    • 4.3 Bagaimana cara menggabungkan FAQ?
    • 4.4 Bagaimana cara memperbarui pustaka standar FAQ secara real time?
  • 5. FAQ Pertanyaan Standar Bank Jawaban Optimalisasi
    • 5.1 Bagaimana cara mengoptimalkan jawaban ke bank pertanyaan standar FAQ?

Klik untuk melihat jawabannya

4.6.2 Tanya Jawab Sistem Wawancara Umum
  • Wawancara Umum Faiss
    • 1. Motif
      • 1.1 Apa masalah dengan algoritma kesamaan tradisional?
    • 2. Pendahuluan
      • 2.1 Apa itu FAISS?
      • 2.2 Bagaimana cara menggunakan FAISS?
      • 2.3 Prinsip FAISS dan algoritma inti
    • 3. Bab Praktis Faiss
      • 3.1 Bagaimana cara menginstal FAISS?
      • 3.2 Apa indeks indeks FAISS?
      • 3.3 Bagaimana cara menggunakan indeks indeks FAISS?
        • 3.3.1 Persiapan Data
        • 3.3.2 Estetika Kekerasan IndeksFlatl2
        • 3.3.3 Flash IndexivFlat
        • 3.3.4 Manajer Memori IndexIVFPQ
      • 3.4 FAISS Lalu gunakan GPU?
    • 4. Perbandingan FAISS
      • 4.1 Mana yang lebih baik, sklearn cosine_similarity atau faiss

4.7 Wawancara Umum untuk Sistem Dialog

  • Wawancara Umum untuk Sistem Dialog
    • 1. Pengantar sistem dialog
      • 1.1 Apa sistem dialognya?
      • 1.2 Apa perbedaan antara sistem dialog ini?
    • 2. Pengantar sistem dialog multi-putaran
      • 2.1 Mengapa menggunakan sistem dialog multi-putaran?
      • 2.2 Apa solusi sistem dialog multi-putaran umum?
    • 3. Pengantar sistem dialog berbasis tugas
      • 3.1 Apa itu sistem dialog berbasis tugas?
      • 3.2 Apa proses sistem dialog berbasis tugas?
      • 3.3 Pemahaman Bahasa Sistem Dialog Berbasis Tugas (SLU)
        • 3.3.1 Apa itu Pemahaman Bahasa (SLU)?
        • 3.3.2 Apa input dan output pemahaman bahasa (SLU)?
        • 3.3.3 Apa teknik yang digunakan dalam pemahaman bahasa (SLU)?
      • 3.4 Sistem Dialog Berbasis Tugas DST (Pelacakan Status Dialog)
        • 3.4.1 Apa itu DST (pelacakan status dialog)?
        • 3.4.2 Apa input dan output DST (pelacakan status dialog)?
        • 3.4.3 Apakah DST (pelacakan status dialog) memiliki masalah dan solusi?
        • 3.4.4 Apa metode implementasi DST (pelacakan status dialog)?
      • 3.5 DPO (Pembelajaran Strategi Dialog) Bab sistem dialog berbasis tugas
        • 3.5.1 Apa itu DPO (Pembelajaran Strategi Dialog)?
        • 3.5.2 Apa input dan output DPO (Pembelajaran Strategi Dialog)?
        • 3.5.3 Apa metode implementasi DPO (Pembelajaran Strategi Dialog)?
      • 3.6 NLG (Generasi Bahasa Alami) Sistem Dialog Berbasis Tugas
        • 3.6.1 Apa itu NLG (Generasi Bahasa Alami)?
        • 3.6.2 Apa input dan output NLG (generasi bahasa alami)?
        • 3.6.3 Apakah Implementasi NLG (Generasi Bahasa Alami)?

Klik untuk melihat jawabannya

4.8 Wawancara Umum untuk Grafik Pengetahuan

4.8.1 Wawancara Umum untuk Grafik Pengetahuan
  • 1. Pengantar grafik pengetahuan
    • 1.1 Pendahuluan
    • 1.2 Apa itu grafik pengetahuan?
      • 1.2.1 Apa itu grafik?
      • 1.2.2 Apa itu skema?
    • 1.3 Apa kategori grafik pengetahuan?
    • 1.4 Apa nilai grafik pengetahuan?
  • 2. Bagaimana cara membangun grafik pengetahuan?
    • 2.1 Dari mana data dari grafik pengetahuan berasal?
    • 2.2 Apa kesulitan dalam ekstraksi informasi?
    • 2.3 Teknologi yang terlibat dalam membangun grafik pengetahuan?
    • 2.4. Apa teknologi spesifik untuk membangun grafik pengetahuan?
      • 2.4.1 Pengakuan Entitas yang Dinamai
      • 2.4.2 Ekstraksi Relasi
      • 2.4.3 Resolusi Entitas
      • 2.4.4 mengacu pada disambiguasi
  • 3. Bagaimana cara menyimpan grafik pengetahuan?
  • 4. Apa yang bisa dilakukan grafik pengetahuan?

Klik untuk melihat jawabannya

4.8.2 Wawancara Umum KBQA
  • 1. Metode berdasarkan kamus dan aturan
    • Menerapkan KBQA berdasarkan kamus dan aturan?
    • Menerapkan proses KBQA berdasarkan kamus dan aturan?
  • 2. Metode berdasarkan ekstraksi informasi
    • Menerapkan proses KBQA berdasarkan ekstraksi informasi?

Klik untuk melihat jawabannya

4.8.3 Wawancara Umum Neo4j
  • 1. Neo4j Pendahuluan dan Instalasi
    • 1.1 Pendahuluan
    • 1.2 Bagaimana cara mengunduh neo4j?
    • 1.3 Bagaimana cara menginstal neo4j?
    • 1.4 Pengantar Antarmuka Web Neo4J
    • 1.5 Apa itu bahasa kueri Cypher?
  • 2. Penambahan Neo4j, Penghapusan, Pencarian dan Modifikasi
    • 2.1 Pendahuluan
    • 2.2 Bagaimana cara membuat node di neo4j?
    • 2.3 Bagaimana cara membuat hubungan di neo4j?
    • 2.4 Bagaimana cara menciptakan hubungan tempat lahir di Neo4j?
    • 2.5 Bagaimana cara meminta neo4j?
    • 2.6 Bagaimana cara menghapus dan memodifikasi neo4j?
  • 3. Bagaimana cara menggunakan python untuk mengoperasikan database grafik neo4j?
    • 3.1 Modul NEO4J: Apa pernyataan eksekusi CQL (CYPHER)?
    • 3.2 Apa itu modul py2neo?
  • 4. Data Impor Database Diagram NEO4J

Klik untuk melihat jawabannya

4.9 Ringkasan Teks Wawancara Umum

  • 1. Motif
    • 1.1 Apa itu ringkasan teks?
    • 1.2 Apa saja jenis teknik ringkasan teks?
  • 2. Ringkasan Ekstraksi
    • 2.1 Bagaimana cara membuat ringkasan yang menentukan?
      • 2.1.1 Apa Algoritma Evaluasi Pentingnya Kalimat?
      • 2.1.2 Apa metode pembuatan ringkasan berbasis kendala?
      • 2.1.3 Bagaimana algoritma TextTeaser mengekstrak ringkasan?
      • 2.1.4 Bagaimana algoritma Textrank mengekstrak ringkasan?
    • 2.2 Apa masalah keterbacaan dari ringkasan yang diekstraksi?
  • 3. Ringkasan Terkompresi
    • 3.1 Bagaimana cara membuat ringkasan terkompresi?
  • 4. Ringkasan Generatif
    • 4.1 Bagaimana cara membuat ringkasan generatif?
    • 4.2 Apa masalahnya dengan ringkasan generatif?
    • 4.3 Masalah apa yang dipecahkan oleh jaringan pointer-generator?
  • V. Metode penilaian kualitas abstrak
    • 5.1 Apa jenis metode evaluasi kualitas abstrak?
    • 5.2 Apa itu Rouge?
    • 5.3 Apa perbedaan antara beberapa indikator Rouge?
    • 5.4 Apa perbedaan antara Bleu dan Rouge?

Klik untuk melihat jawabannya

4.10 Artikel Koreksi Kesalahan Teks Artikel Wawancara Umum

  • 1. Pendahuluan
    • 1.1 Apa itu koreksi kesalahan teks?
    • 1.2 Jenis Kesalahan Teks Umum?
    • 1.3 Metode Umum untuk Koreksi Kesalahan Teks?
  • 2. Pengantar metode pipa
    • Bagaimana cara mengimplementasikan deteksi kesalahan dalam pipa?
    • Bagaimana cara mengimplementasikan penarikan kandidat dalam pipa?
    • Bagaimana cara mengimplementasikan pemilahan koreksi kesalahan dalam pipa?
    • Bagaimana cara mengimplementasikan optimasi gema ASR dalam pipa?

Klik untuk melihat jawabannya

4.11 Ringkasan Teks Wawancara Umum

  • 1. Motif
    • 1.1 Apa itu ringkasan teks?
    • 1.2 Apa saja jenis teknik ringkasan teks?
  • 2. Ringkasan Ekstraksi
    • 2.1 Bagaimana cara membuat ringkasan yang menentukan?
      • 2.1.1 Apa Algoritma Evaluasi Pentingnya Kalimat?
      • 2.1.2 Apa metode pembuatan ringkasan berbasis kendala?
      • 2.1.3 Bagaimana algoritma TextTeaser mengekstrak ringkasan?
      • 2.1.4 Bagaimana algoritma Textrank mengekstrak ringkasan?
    • 2.2 Apa masalah keterbacaan dari ringkasan yang diekstraksi?
  • 3. Ringkasan Terkompresi
    • 3.1 Bagaimana cara membuat ringkasan terkompresi?
  • 4. Ringkasan Generatif
    • 4.1 Bagaimana cara membuat ringkasan generatif?
    • 4.2 Apa masalahnya dengan ringkasan generatif?
    • 4.3 Masalah apa yang dipecahkan oleh jaringan pointer-generator?
  • V. Metode penilaian kualitas abstrak
    • 5.1 Apa jenis metode evaluasi kualitas abstrak?
    • 5.2 Apa itu Rouge?
    • 5.3 Apa perbedaan antara beberapa indikator Rouge?
    • 5.4 Apa perbedaan antara Bleu dan Rouge?

Klik untuk melihat jawabannya

4.12 Wawancara Umum untuk Pembuatan Teks

  • Wawancara umum untuk metode decoding untuk menghasilkan model
    • Apa itu model generatif?
    • Apa metode decoding berbasis pencarian?
    • Apa metode decoding berbasis pengambilan sampel?

Klik untuk melihat jawabannya

3. Wawancara Umum Algoritma Pembelajaran mendalam

  • Wawancara umum CNN
    • 1. Motif
    • 2. Lapisan konvolusional CNN
      • 2.1 Apa inti dari lapisan konvolusional?
      • 2.2 Apa hubungan antara lapisan konvolusional CNN dan lapisan yang sepenuhnya terhubung?
      • 2.3 Apa arti saluran?
    • 3. Lapisan Pooling CNN
      • 3.1 Apa lapisan gabungan untuk wilayah ini?
      • 3.2 Apa saja jenis lapisan gabungan?
      • 3.3 Apa fungsi lapisan pengumpulan?
      • 3.4 Seperti apa backpropagation di lapisan pooling?
      • 3.5 Seperti apa artinya menyatukan lintasan backpropagation?
      • 3.6 Seperti apa latar belakang lapisan gabungan?
    • 4. CNN secara keseluruhan
      • 4.1 Apa proses CNN?
      • 4.2 Apa karakteristik CNN?
      • 4.3 Mengapa jaringan saraf konvolusional memiliki invarian translasi?
      • 4.4 Bagaimana IM2COL diterapkan dalam jaringan saraf konvolusional?
      • 4.5 Apa batasan CNN?
    • 5. CNN melebar iterasi
      • 5.1 Apa itu konvolusi void cnn melebar?
      • 5.2 Apa yang diulang CNN melebar?
    • 6. Dekonvolusi
      • 6.1 Jelaskan prinsip dan penggunaan dekonvolusi?

Klik untuk melihat jawabannya

  • Wawancara umum RNN
    • 1. Rnn
      • 1.2 Mengapa saya membutuhkan RNN?
      • 1.2 Apa itu struktur RNN?
      • 1.3 rumus perhitungan ke depan?
      • 1.4 Apa masalahnya dengan RNN?
    • 2. Jaringan memori jangka pendek (LSTM)
      • 2.1 Mengapa Anda membutuhkan LSTM?
      • 2.2 Apa struktur LSTM?
      • 2.3 Bagaimana LSTM mengurangi masalah gradien RNN menghilang dan ledakan gradien?
      • 2.3 Apa proses LSTM?
      • 2.4 Apa perbedaan dalam fungsi aktivasi di LSTM?
      • 2.5 Kompleksitas LSTM?
      • 2.6 Masalah apa yang ada LSTM?
    • 3. Gru (unit berulang yang terjaga keamanannya)
      • 3.1 Mengapa Anda membutuhkan Gru?
      • 3.2 Apa struktur Gru?
      • 3.3 Perhitungan Maju Gru?
      • 3.4 Apa perbedaan antara Gru dan model seri RNN lainnya?
    • 4. Model Seri RNN
      • 4.1 Apa karakteristik model seri RNN?

Klik untuk melihat jawabannya

  • Perhatian wawancara umum
    • 1. SEQ2SEQ
      • 1.1 Apa itu SEQ2SEQ (Encoder-Decoder)?
      • 1.2 Bagaimana dengan Encoder di SEQ2SEQ?
      • 1.3 Bagaimana dengan decoder di seq2seq?
      • 1.4 Apakah Anda tahu seq2seq dari perspektif matematika?
      • 1.5 Masalah apa yang dimiliki SEQ2SEQ?
    • 2. Perhatian
      • 2.1 Apa perhatiannya?
      • 2.2 Mengapa mekanisme perhatian diperkenalkan?
      • 2.3 Apa fungsi perhatian?
      • 2.4 Apa proses perhatiannya?
        • Langkah 1 Untuk mengeksekusi encoder (konsisten dengan SEQ2SEQ)
        • Langkah 2 Hitung koefisien penyelarasan a
        • Langkah 3: Hitung konteks vektor semantik c
        • Langkah 4 Perbarui status decoder
        • Langkah 5 Hitung kata prediksi output
      • 2.5 Apa area aplikasi perhatian?
    • 3. Varian Perhatian
      • 3.1 Apa itu perhatian lembut?
      • 3.2 Apa itu perhatian yang sulit?
      • 3.3 Apa itu perhatian global?
      • 3.4 Apa perhatian lokal?
      • 3.5 Apa itu swadaya?

Klik untuk melihat jawabannya

  • Menghasilkan jaringan permusuhan GAN Wawancara Umum
    • 1. Motivasi
    • 2. Pendahuluan
      • 2.1 Ide Dasar Gan
      • 2.2 Pengantar Dasar untuk Gan
        • 2.2.1 Struktur Dasar GAN
        • 2.2.2 GAN 的基本思想
    • 三、训练篇
      • 3.1 生成器介绍
      • 3.2 判别器介绍
      • 3.3 训练过程
      • 3.4 训练所涉及相关理论基础
    • 4. Ringkasan

点击查看答案

3.1 Transformer 常见面试篇

  • Transformer 常见面试篇
    • 一、动机篇
      • 1.1 为什么要有Transformer?
      • 1.2 Transformer 作用是什么？
    • 二、整体结构篇
      • 2.1 Transformer 整体结构是怎么样？
      • 2.2 Transformer-encoder 结构怎么样？
      • 2.3 Transformer-decoder 结构怎么样?
    • 三、模块篇
      • 3.1 self-attention 模块
        • 3.1.1 传统attention 是什么?
        • 3.1.2 为什么会有self-attention?
        • 3.1.3 self-attention 的核心思想是什么?
        • 3.1.4 self-attention 的目的是什么?
        • 3.1.5 self-attention 的怎么计算的?
        • 3.1.6 self-attention 为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？
        • 3.1.7 为什么采用点积模型的self-attention 而不采用加性模型？
        • 3.1.8 Transformer 中在计算self-attention 时为什么要除以 $sqrt{d}$ ?
        • 3.1.9 self-attention 如何解决长距离依赖问题？
        • 3.1.10 self-attention 如何并行化？
      • 3.2 multi-head attention 模块
        • 3.2.1 multi-head attention 的思路是什么样?
        • 3.2.2 multi-head attention 的步骤是什么样?
        • 3.2.3 Transformer为何使用多头注意力机制？（为什么不使用一个头）
        • 3.2.4 为什么在进行多头注意力的时候需要对每个head进行降维？
        • 3.2.5 multi-head attention 代码介绍
      • 3.3 位置编码（Position encoding）模块
        • 3.3.1 为什么要加入位置编码（Position encoding） ？
        • 3.3.2 位置编码（Position encoding）的思路是什么？
        • 3.3.3 位置编码（Position encoding）的作用是什么？
        • 3.3.4 位置编码（Position encoding）的步骤是什么？
        • 3.3.5 Position encoding为什么选择相加而不是拼接呢？
        • 3.3.6 Position encoding和Position embedding的区别？
        • 3.3.7 为何17年提出Transformer时采用的是Position Encoder 而不是Position Embedding？而Bert却采用的是Position Embedding ？
        • 3.3.8 位置编码（Position encoding）的代码介绍
      • 3.4 残差模块模块
        • 3.4.1 为什么要加入残差模块？
      • 3.5 Layer normalization 模块
        • 3.5.1 为什么要加入Layer normalization 模块？
        • 3.5.2 Layer normalization 模块的是什么？
        • 3.5.3 Batch normalization 和Layer normalization 的区别？
        • 3.5.4 Transformer 中为什么要舍弃Batch normalization 改用Layer normalization 呢?
        • 3.5.5 Layer normalization 模块代码介绍
      • 3.6 Mask 模块
        • 3.6.1 什么是Mask？
        • 3.6.2 Transformer 中用到几种Mask？
        • 3.6.3 能不能介绍一下Transformer 中用到几种Mask？

点击查看答案

  • 【关于Transformer 问题及改进】那些你不知道的事
    • 一、Transformer 问题篇
      • 1.1 既然Transformer 怎么牛逼，是否还存在一些问题？
    • 二、每个问题的解决方法是什么？
      • 2.1 问题一：Transformer 不能很好的处理超长输入问题
        • 2.1.1 Transformer 固定了句子长度？
        • 2.1.2 Transformer 固定了句子长度的目的是什么？
        • 2.1.3 Transformer 针对该问题的处理方法？
      • 2.2 问题二：Transformer 方向信息以及相对位置的缺失问题
      • 2.3 问题三：缺少Recurrent Inductive Bias
      • 问题四：问题四：Transformer是非图灵完备的： 非图灵完备通俗的理解，就是无法解决所有的问题
      • 问题五：transformer缺少conditional computation；
      • 问题六：transformer 时间复杂度和空间复杂度过大问题；

五、NLP 技巧面

5.1 少样本问题面

5.1.1 数据增强（EDA） 面试篇

  • 一、动机篇
    • 1.1 什么是数据增强？
    • 1.2 为什么需要数据增强？
  • 二、常见的数据增强方法篇
    • 2.1 词汇替换篇
      • 2.1.1 什么是基于词典的替换方法？
      • 2.1.2 什么是基于词向量的替换方法？
      • 2.1.3 什么是基于MLM 的替换方法？
      • 2.1.4 什么是基于TF-IDF 的词替换？
    • 2.2 词汇插入篇
      • 2.2.1 什么是随机插入法？
    • 2.3 词汇交换篇
      • 2.3.1 什么是随机交换法？
    • 2.4 词汇删除篇
      • 2.4.1 什么是随机删除法？
    • 2.5 回译篇
      • 2.5.1 什么是回译法？
    • 2.6 交叉增强篇
      • 2.6.1 什么是交叉增强篇
    • 2.7 语法树篇
      • 2.7.1 什么是语法树操作？
    • 2.8 对抗增强篇
      • 2.8.1 什么是对抗增强？

点击查看答案

5.1.2 主动学习面试篇

  • 一、动机篇
    • 1.1 主动学习是什么？
    • 1.2 为什么需要主动学习？
  • 二、主动学习篇
    • 2.1 主动学习的思路是什么？
    • 2.2 主动学习方法的价值点在哪里？
  • 三、样本选取策略篇
    • 3.1 以未标记样本的获取方式的差别进行划分
    • 3.2 测试集内选取“信息”量最大的数据标记
      • 3.2.1 测试集内选取“信息”量最大的数据标记
      • 3.2.2 依赖不确定度的样本选取策略（Uncertainty Sampling, US）
      • 3.2.3 基于委员会查询的方法（Query-By-Committee，QBC）

点击查看答案

5.1.3 数据增强之对抗训练面试篇

  • 1. Pendahuluan
    • 1.1 什么是对抗训练？
    • 1.2 为什么对抗训练能够提高模型效果？
    • 1.3 对抗训练有什么特点？
    • 1.4 对抗训练的作用?
  • 二、概念篇
    • 2.1 对抗训练的基本概念?
    • 2.2 如何计算扰动?
    • 2.3 如何优化?
  • 三、实战篇
    • 3.1 NLP 中经典对抗训练之Fast Gradient Method（FGM）
    • 3.2 NLP 中经典对抗训练之Projected Gradient Descent（PGD）

点击查看答案

5.2 “脏数据”处理面试篇

  • 一、动机
    • 1.1 何为“脏数据”？
    • 1.2 “脏数据” 会带来什么后果？
  • 二、“脏数据” 处理篇
    • 2.1 “脏数据” 怎么处理呢？
    • 2.2 置信学习方法篇
      • 2.2.1 什么是置信学习方法？
      • 2.2.2 置信学习方法优点？
      • 2.2.3 置信学习方法怎么做？
      • 2.2.4 置信学习方法怎么用？有什么开源框架？
      • 2.2.5 置信学习方法的工作原理？

点击查看答案

5.3 batch_size设置面试篇

  • 一、训练模型时，batch_size的设置，学习率的设置?

点击查看答案

5.4 早停法EarlyStopping 面试篇

  • 一、 为什么要用早停法EarlyStopping？
  • 二、 早停法EarlyStopping 是什么？
  • 三、早停法torch 版本怎么实现？

点击查看答案

5.5 标签平滑法LabelSmoothing 面试篇

  • 一、为什么要有标签平滑法LabelSmoothing？
  • 二、 标签平滑法是什么？
  • 三、 标签平滑法torch 怎么复现？

点击查看答案

5.6 Bert Trick 面试篇

5.6.1 Bert 未登录词处理面试篇

  • 什么是Bert 未登录词？
  • Bert 未登录词如何处理？
  • Bert 未登录词各种处理方法有哪些优缺点？

点击查看答案

5.6.2 BERT在输入层引入额外特征面试篇

  • BERT在输入层如何引入额外特征？

点击查看答案

5.6.3 关于BERT 继续预训练面试篇

  • 什么是继续预训练？
  • 为什么会存在【数据分布/领域差异】大问题？
  • 如何进行继续预训练？
  • 还有哪些待解决问题？
  • 训练数据问题解决方案？
  • 知识缺乏问题解决方案？
  • 知识理解缺乏问题解决方案？

点击查看答案

5.6.4 BERT如何处理篇章级长文本面试篇

  • 为什么Bert 不能处理长文本？
  • BERT 有哪些处理篇章级长文本?

点击查看答案

六、 Prompt Tuning 面试篇

6.1 Prompt 面试篇

  1. 什么是prompt？
  2. 如何设计prompt？
  3. prompt进阶——如何自动学习prompt？
  4. Prompt 有哪些关键要点？
  5. Prompt 如何实现？

点击查看答案

6.2 Prompt 文本生成面试篇

  1. Prompt之文本生成评估手段有哪些？
  2. Prompt文本生成具体任务有哪些？

点击查看答案

6.3 LoRA 面试篇

  1. 什么是lora？
  2. lora 是怎么做的呢？
  3. lora 为什么可以这样做？
  4. 用一句话描述lora？
  5. lora 优点是什么？
  6. lora 缺点是什么？
  7. lora 如何实现？

点击查看答案

6.4 PEFT（State-of-the-art Parameter-Efficient Fine-Tuning）面试篇

  • 一、微调Fine-tuning 篇
    • 1.1 什么是微调Fine-tuning ？
    • 1.2 微调Fine-tuning 基本思想是什么？
  • 二、轻度微调（lightweight Fine-tuning）篇
    • 2.1 什么是轻度微调（lightweight Fine-tuning）？
  • 三、适配器微调（Adapter-tuning）篇
    • 3.1 什么是适配器微调（Adapter-tuning）？
    • 3.2 适配器微调（Adapter-tuning）变体有哪些？
  • 四、提示学习（Prompting）篇
    • 4.1 什么是提示学习（Prompting）？
    • 4.2 提示学习（Prompting）的目的是什么？
    • 4.3 提示学习（Prompting） 代表方法有哪些？
      • 4.3.1 前缀微调（Prefix-tining）篇
        • 4.3.1.1 什么是前缀微调（Prefix-tining）？
        • 4.3.1.2 前缀微调（Prefix-tining）的核心是什么？
        • 4.3.1.3 前缀微调（Prefix-tining）的技术细节有哪些？
        • 4.3.1.4 前缀微调（Prefix-tining）的优点是什么？
        • 4.3.1.5 前缀微调（Prefix-tining）的缺点是什么？
      • 4.3.2 指示微调（Prompt-tuning）篇
        • 4.3.2.1 什么是指示微调（Prompt-tuning）？
        • 4.3.2.2 指示微调（Prompt-tuning）的核心思想？
        • 4.3.2.3 指示微调（Prompt-tuning）的优点/贡献是什么？
        • 4.3.2.4 指示微调（Prompt-tuning）的缺点是什么？
        • 4.3.2.5 指示微调（Prompt-tuning）与Prefix-tuning 区别是什么？
        • 4.3.2.6 指示微调（Prompt-tuning）与fine-tuning 区别是什么？
      • 4.3.3 P-tuning 篇
        • 4.3.3.1 P-tuning 动机是什么？
        • 4.3.3.2 P-tuning 核心思想是什么？
        • 4.3.3.3 P-tuning 做了哪些改进？
        • 4.3.3.4 P-tuning 有哪些优点/贡献？
        • 4.3.3.5 P-tuning 有哪些缺点？
      • 4.3.4 P-tuning v2 篇
        • 4.3.4.1 为什么需要P-tuning v2？
        • 4.3.4.2 P-tuning v2 是什么？
        • 4.3.4.3 P-tuning v2 有哪些优点？
        • 4.3.4.4 P-tuning v2 有哪些缺点？
      • 4.3.5 PPT 篇
        • 4.3.5.1 为什么需要PPT ？
        • 4.3.5.2 PPT 核心思想是什么？
        • 4.3.5.3 PPT 具体做法是怎么样？
        • 4.3.5.4 常用的soft prompt初始化方法？
        • 4.3.5.5 PPT 的优点是什么？
        • 4.3.5.6 PPT 的缺点是什么？
    • 4.4 提示学习（Prompting） 优点是什么？
    • 4.5 提示学习（Prompting） 本质是什么？
  • 五、指令微调（Instruct-tuning）篇
    • 5.1 为什么需要指令微调（Instruct-tuning）？
    • 5.2 指令微调（Instruct-tuning）是什么？
    • 5.3 指令微调（Instruct-tuning）的优点是什么？
    • 5.4 指令微调（Instruct-tuning） vs 提升学习（Prompting）？
    • 5.5 指令微调（Instruct-tuning） vs 提升学习（Prompting） vs Fine-tuning？
  • 六、指令提示微调（Instruct Prompt tuning）篇
    • 6.1 为什么需要指令微调（Instruct-tuning）？
    • 6.2 指令微调（Instruct-tuning） 是什么？
    • 6.3 指令微调（Instruct-tuning） 在不同任务上性能？
  • 七、self-instruct篇
    • 7.1 什么是self-instruct？
  • 八、Chain-of-Thought 篇
    • 8.1 为什么需要Chain-of-Thought ？
    • 8.2 什么是Chain-of-Thought ？
    • 8.3 Chain-of-Thought 的思路是怎么样的？
    • 8.4 Chain-of-Thought 的优点是什么？
    • 8.5 为什么chain-of-thought 会成功？
  • 九、LoRA 篇
    • 9.1 LoRA 篇
      • 9.1.1 LoRA 核心思想是什么？
      • 9.1.2 LoRA 具体思路是什么？
      • 9.1.3 LoRA 优点是什么？
      • 9.1.4 LoRA 缺点是什么？
    • 9.2 AdaLoRA 篇
      • 9.2.1 AdaLoRA 核心思想是什么？
      • 9.2.2 AdaLoRA 实现思路是什么？
    • 9.3 DyLoRA 篇
      • 9.3.1 AdaLoRA 动机是什么？
      • 9.3.2 AdaLoRA 核心思想是什么？
      • 9.3.3 AdaLoRA 优点是什么？
  • 十、BitFit 篇
    • 10.1 AdaLoRA 核心思想是什么？
    • 10.2 AdaLoRA 优点是什么？
    • 10.3 AdaLoRA 缺点是什么？

点击查看答案

七、LLMs 面试篇

7.1 [What are the fine-tuning methods for the LLM model now? Apa kelebihan dan kekurangan masing -masing?

  • What are the fine-tuning methods for the LLM model now? Apa kelebihan dan kekurangan masing -masing?

点击查看答案

7.2 GLM：ChatGLM的基座模型常见面试题

  • GLM 的核心是什么？
  • GLM 的模型架构是什么？
  • GLM 如何进行多任务训练？
  • 在进行NLG 时， GLM 如何保证生成长度的未知性？
  • GLM 的多任务微调方式有什么差异？
  • GLM 的多任务微调方式有什么优点？

点击查看答案

一、基础算法常见面试篇

  • 过拟合和欠拟合常见面试篇
    • 一、过拟合和欠拟合是什么？
    • 二、过拟合/高方差（overfiting / high variance）篇
      • 2.1 过拟合是什么及检验方法？
      • 2.2 导致过拟合的原因是什么？
      • 2.3 过拟合的解决方法是什么？
    • 三、欠拟合/高偏差（underfiting / high bias）篇
      • 3.1 欠拟合是什么及检验方法？
      • 3.2 导致欠拟合的原因是什么？
      • 3.3 过拟合的解决方法是什么？

点击查看答案

  • BatchNorm vs LayerNorm 常见面试篇
    • 一、动机篇
      • 1.1 独立同分布（independent and identically distributed）与白化
      • 1.2 （ Internal Covariate Shift，ICS）
      • 1.3 ICS问题带来的后果是什么？
    • 二、Normalization 篇
      • 2.1 Normalization 的通用框架与基本思想
    • 三、Batch Normalization 篇
      • 3.1 Batch Normalization（纵向规范化）是什么？
      • 3.2 Batch Normalization（纵向规范化）存在什么问题？
      • 3.3 Batch Normalization（纵向规范化）适用的场景是什么？
      • 3.4 BatchNorm 存在什么问题？
    • 四、Layer Normalization（横向规范化） 篇
      • 4.1 Layer Normalization（横向规范化）是什么？
      • 4.2 Layer Normalization（横向规范化）有什么用？
    • 五、BN vs LN 篇
    • 六、主流Normalization 方法为什么有效？

点击查看答案

  • 激活函数常见面试篇

    • 一、动机篇
      • 1.1 为什么要有激活函数？
    • 二、激活函数介绍篇
      • 2.1 sigmoid 函数篇
        • 2.1.1 什么是sigmoid 函数？
        • 2.1.2 为什么选sigmoid 函数作为激活函数？
        • 2.1.3 sigmoid 函数有什么缺点？
      • 2.2 tanh 函数篇
        • 2.2.1 什么是tanh 函数？
        • 2.2.2 为什么选tanh 函数作为激活函数？
        • 2.2.3 tanh 函数有什么缺点？
      • 2.3 relu 函数篇
        • 2.3.1 什么是relu 函数？
        • 2.3.2 为什么选relu 函数作为激活函数？
        • 2.3.3 relu 函数有什么缺点？
    • 三、激活函数选择篇

  • 正则化常见面试篇

    • 一、L0，L1，L2正则化篇
      • 1.1 正则化是什么？
      • 1.2 什么是L0 正则化？
      • 1.3 什么是L1 （稀疏规则算子Lasso regularization）正则化？
      • 1.4 什么是L2 正则化（岭回归Ridge Regression 或者权重衰减Weight Decay）正则化？
    • 二、对比篇
      • 2.1 什么是结构风险最小化？
      • 2.2 从结构风险最小化的角度理解L1和L2正则化
      • 2.3 L1 vs L2
    • 三、dropout 篇
      • 3.1 什么是dropout？
      • 3.2 dropout 在训练和测试过程中如何操作？
      • 3.3 dropout 如何防止过拟合?

点击查看答案

  • 优化算法及函数常见面试篇
    • 一、动机篇
      • 1.1 为什么需要优化函数？
      • 1.2 优化函数的基本框架是什么?
    • 二、优化函数介绍篇
      • 2.1 梯度下降法是什么?
      • 2.2 随机梯度下降法是什么?
      • 2.3 Momentum 是什么?
      • 2.4 SGD with Nesterov Acceleration 是什么?
      • 2.5 Adagrad 是什么?
      • 2.6 RMSProp/AdaDelta 是什么？
      • 2.7 Adam 是什么?
      • 2.8 Nadam 是什么?
    • 三、优化函数学霸笔记篇

点击查看答案

  • 归一化常见面试篇
    • 一、动机篇
      • 1.1 为什么要归一化？
    • 2. Pendahuluan
      • 2.1 归一化有哪些方法？
      • 2.2 归一化各方法特点？
      • 2.3 归一化的意义？
    • AKU AKU AKU. Aplikasi
      • 3.1 哪些机器学习算法需要做归一化？
      • 3.2 哪些机器学习算法不需要做归一化？

点击查看答案

  • 判别式（discriminative）模型vs. 生成式(generative)模型常见面试篇
    • 一、判别式模型篇
      • 1.1 什么是判别式模型？
      • 1.2 判别式模型是思路是什么？
      • 1.3 判别式模型的优点是什么？
    • 二、生成式模型篇
      • 2.1 什么是生成式模型？
      • 2.2 生成式模型是思路是什么？
      • 2.3 生成式模型的优点是什么？
      • 2.4 生成式模型的缺点是什么？

点击查看答案

二、机器学习算法篇常见面试篇

  • 逻辑回归常见面试篇
    • 1. Pendahuluan
      • 1.1什么是逻辑回归
      • 1.2逻辑回归的优势
    • 二、推导篇
      • 2.1逻辑回归推导
      • 2.2求解优化

点击查看答案

  • 支持向量机常见面试篇
    • 一、原理篇
      • 1.1 什么是SVM？
        • Qa
      • 1.2 SVM怎么发展的？
      • 1.3 SVM存在什么问题？
        • Qa
    • 二、算法篇
      • 2.1 什么是块算法？
      • 2.2 什么是分解算法？
      • 2.3 什么是序列最小优化算法？
      • 2.4 什么是增量算法？
        • Qa
    • 三、其他SVM篇
      • 3.1 什么是最小二次支持向量机？
      • 3.2 什么是模糊支持向量机？
      • 3.3 什么是粒度支持向量机？
      • 3.4 什么是多类训练算法？
      • 3.5 什么是孪生支持向量机？
      • 3.6 什么是排序支持向量机？
        • Qa
    • IV. Aplikasi
      • 4.1 模式识别
      • 4.2 网页分类
      • 4.3 系统建模与系统辨识
      • 4.4 其他
    • 五、对比篇
    • 六、拓展篇

点击查看答案

  • 集成学习常见面试篇
    • 一、动机
    • 二、集成学习介绍篇
      • 2.1 Pendahuluan
        • 2.1.1 集成学习的基本思想是什么？
        • 2.1.2 集成学习为什么有效？
    • 三、 Boosting 篇
      • 3.1 用一句话概括Boosting？
      • 3.2 Boosting 的特点是什么？
      • 3.3 Boosting 的基本思想是什么？
      • 3.4 Boosting 的特点是什么？
      • 3.5 GBDT 是什么？
      • 3.6 Xgboost 是什么？
    • 四、Bagging 篇
      • 4.1 用一句话概括Bagging？
      • 4.2 Bagging 的特点是什么？
      • 4.3 Bagging 的基本思想是什么？
      • 4.4 Bagging 的基分类器如何选择？
      • 4.5 Bagging 的优点是什么？
      • 4.6 Bagging 的特点是什么？
      • 4.7 随机森林是什么？
    • 五、 Stacking 篇
      • 5.1 用一句话概括Stacking ？
      • 5.2 Stacking 的特点是什么？
      • 5.3 Stacking 的基本思路是什么？
    • 6. Pertanyaan yang Sering Diajukan
      • 6.1 为什么使用决策树作为基学习器？
      • 6.2 为什么不稳定的学习器更适合作为基学习器？
      • 6.3 哪些模型适合作为基学习器？
      • 6.4 Bagging 方法中能使用线性分类器作为基学习器吗？ Boosting 呢？
      • 6.5 Boosting/Bagging 与偏差/方差的关系？
    • 七、对比篇
      • 7.1 LR vs GBDT?

点击查看答案

九、【关于Python 】那些你不知道的事

  • 【关于Python 】那些你不知道的事
    • 一、什么是*args 和**kwargs？
      • 1.1 为什么会有*args 和**kwargs？
      • 1.2 *args 和**kwargs 的用途是什么？
      • 1.3 *args 是什么？
      • 1.4 **kwargs是什么？
      • 1.5 *args 与**kwargs 的区别是什么？
    • 二、什么是装饰器？
      • 2.1 装饰器是什么？
      • 2.2 装饰器怎么用？
    • 三、Python垃圾回收（GC）
      • 3.1 垃圾回收算法有哪些？
      • 3.2 引用计数（主要）是什么？
      • 3.3 标记-清除是什么？
      • 3.4 分代回收是什么？
    • 四、python的sorted函数对字典按key排序和按value排序
      • 4.1 python 的sorted函数是什么？
      • 4.2 python 的sorted函数举例说明？
    • 五、直接赋值、浅拷贝和深度拷贝
      • 5.1 概念介绍
      • 5.2 介绍
      • 5.3 变量定义流程
      • 5.3 赋值
      • 5.4 浅拷贝
      • 5.5 深度拷贝
      • 5.6 核心：不可变对象类型and 可变对象类型
        • 5.6.1 不可变对象类型
        • 5.6.2 可变对象类型
    • 六、进程、线程、协程
      • 6.1 进程
        • 6.1.1 什么是进程？
        • 6.1.2 进程间如何通信？
      • 6.2 线程
        • 6.2.1 什么是线程？
        • 6.2.2 线程间如何通信？
      • 6.3 进程vs 线程
        • 6.3.1 区别
        • 6.3.2 应用场景
      • 6.4 协程
        • 6.4.1 什么是协程？
        • 6.4.2 协程的优点？
    • 七、全局解释器锁
      • 7.1 什么是全局解释器锁？
      • 7.2 GIL有什么作用？
      • 7.3 GIL有什么影响？
      • 7.4 如何避免GIL带来的影响？

十、【关于Tensorflow 】那些你不知道的事

  • 【关于Tensorflow 损失函数】 那些你不知道的事
    • 一、动机
    • 二、什么是损失函数？
    • 三、目标函数、损失函数、代价函数之间的关系与区别？
    • 四、损失函数的类别
      • 4.1 回归模型的损失函数
        • （1）L1正则损失函数（即绝对值损失函数）
        • （2）L2正则损失函数（即欧拉损失函数）
        • （3）均方误差（MSE, mean squared error）
        • （4）Pseudo-Huber 损失函数
      • 4.2 分类模型的损失函数
        • （1）Hinge损失函数
        • （2）两类交叉熵（Cross-entropy）损失函数
        • （3）Sigmoid交叉熵损失函数
        • （4）加权交叉熵损失函数
        • （5）Softmax交叉熵损失函数
        • (6) SparseCategoricalCrossentropy vs sparse_categorical_crossentropy
    • 5. Ringkasan
Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua