NLP Interview Notes

NLP غير شائع

مقدمة: هذا المشروع عبارة عن ملاحظات ومواد الدراسة التي أعدتها مقابلة معالجة اللغة الطبيعية (NLP) استنادًا إلى المقابلات والخبرات الشخصية. تحتوي هذه المادة حاليًا على تراكم أسئلة المقابلة في مختلف مجالات معالجة اللغة الطبيعية.

> مقابلة NLP و Exchange Group (ملاحظة: إذا كنت ممتلئًا ، فيمكنك إضافة المحرر WX: Yzyykm666 للانضمام إلى المجموعة!)

4. المقابلات الشائعة لخوارزميات التعلم NLP

4.1 المقابلات الشائعة لاستخراج المعلومات

4.1.1 المقابلات الشائعة لتسمية الاعتراف بالكيانات

• خوارزمية ماركوف الخفية هم المقابلات المشتركة
  • 1. مقدمة للمعلومات الأساسية
    • 1.1 ما هو نموذج الرسم البياني الاحتمال؟
    • 1.2 ما هو المطار العشوائي؟
  • 2. مقدمة لعملية ماركوف
    • 2.1 ما هي عملية ماركوف؟
    • 2.2 ما هي الفكرة الأساسية لعملية ماركوف؟
  • ثالثا. خوارزمية ماركوف الخفية
    • 3.1 مقدمة لخوارزمية ماركوف المخفية
      • 3.1.1 ما هي خوارزمية ماركوف المخفية؟
      • 3.1.2 ما هو التسلسل في خوارزمية ماركوف المخفية؟
      • 3.1.3 ما هي المصفوفات الثلاثة في خوارزمية ماركوف المخفية؟
      • 3.1.4 ما هي الافتراضين في خوارزمية ماركوف المخفية؟
      • 3.1.5 ما هو سير العمل في خوارزمية ماركوف المخفية؟
    • 3.2 عملية حساب نموذج خوارزمية ماركوف المخفية
      • 3.2.1 ما هي عملية التدريب لتعلم خوارزمية ماركوف المخفية؟
      • 3.2.2 ما هي عملية التعليق التوضيحي (فك التشفير) لخوارزمية ماركوف المخفية؟
      • 3.2.3 ما هي عملية احتمال التسلسل لخوارزمية ماركوف المخفية؟
    • 3.3 مشكلة خوارزمية ماركوف المخفية

انقر لعرض الإجابة

• الحد الأقصى لإنتروبيا ماركوف نموذج MEMM المقابلات المشتركة
  • 4. نموذج ماركوف الأقصى (MEMM)
    • 4.1 أقصى دافع نموذج ماركوف (MEMM)
      • 4.1.1 ما هي مشاكل HMM؟
    • 4.2 مقدمة إلى نموذج ماركوف الأقصى (MEMM)
      • 4.2.1 كيف يبدو نموذج ماركوف الأقصى (MEMM)؟
      • 4.2.2 الحد الأقصى لنموذج ماركوف (MEMM) كيفية حل مشكلة HMM؟
    • 4.3 مشكلة نموذج ماركوف (MEMM) الحد الأقصى

انقر لعرض الإجابة

• المقابلات المشتركة بين المطار العشوائي الشرطي (CRF)
  • 5. الحقل العشوائي الشرطي (CRF)
    • 5.1 دافع CRF
      • 5.1.1 ما هي مشاكل HMM و MEMM؟
    • 5.2 مقدمة CRF
      • 5.2.1 ما هو CRF؟
      • 5.2.2 ما هي الفكرة الرئيسية لـ CRF؟
      • 5.2.3 ما هو تعريف CRF؟
      • 5.2.4 ما هي عملية CRF؟
    • 5.3 إيجابيات CRF وسلبيات
      • 5.3.1 ما هي مزايا CRF؟
      • 5.3.2 ما هي عيوب CRF؟
    • 5.4 استنساخ CRF؟
  • 6. مقارنة
    • 6.1 ما هو الفرق بين نموذج CRF ونموذج HMM و MEMM؟

انقر لعرض الإجابة

• DNN-CRF المقابلات الشائعة
  • 1. المعلومات الأساسية
    • 1.1 ما هي مؤشرات التقييم للتسمية التعرف على الكيان؟
  • 2. طريقة التعرف على كيان التسمية التقليدية
    • 2.1 ما هي الطريقة القائمة على القواعد لتسمية التعرف على الكيان؟
    • 2.2 ما هي طريقة التعرف على كيان التسمية بناءً على التعلم غير الخاضع للإشراف؟
    • 2.3 ما هي طريقة التعرف على الكيان المسماة بناءً على التعلم الخاضع للإشراف على الميزات؟
  • 3. تسمية طريقة التعرف على الكيان على أساس التعلم العميق
    • 3.1 ما هي مزايا أساليب التعرف على الكيان المسماة القائمة على التعلم العميق مقارنة بطرق التعرف على الكيان المسماة القائمة على التعلم الآلي؟
    • 3.2 ما هي بنية طريقة التعرف على الكيان المسماة بناءً على التعلم العميق؟
    • 3.3 ما هي طبقة الإدخال الموزعة وما هي الطرق؟
    • 3.4 تشفير النص
      • 3.4.1 BILSTM-CRF
        • 3.4.1.1 ما هو BILSTM-CRF؟
        • 3.4.1.2 لماذا تستخدم BILSTM؟
      • 3.4.2 IDCNN-CRF
        • 3.4.2.1 ما هي شبكة CNN المتوسعة؟
        • 3.4.2.2 لماذا يوجد شبكة سي إن إن ممتدة؟
        • 3.4.2.3 ما هي مزايا CNN المتوسعة؟
        • 3.4.2.4 مقدمة إلى IDCNN-CRF
    • 3.5 وحدة فك ترميز العلامة
      • 3.5.1 ما هو وحدة فك ترميز العلامات؟
      • 3.5.2 مقدمة إلى طبقة MLP+Softmax؟
      • 3.5.3 مقدمة إلى طبقة CRF الحقل العشوائي الشرطي؟
      • 3.5.4 مقدمة في طبقة RNN من الشبكة العصبية المتكررة؟
      • 3.5.3 مقدمة لطبقة شبكة المؤشر؟
  • 4. المقارنة
    • 4.1 CNN-CRF مقابل BILSTM-CRF مقابل IDCNN-CRF؟
    • 4.2 لماذا تحتاج DNN إلى إضافة CRF؟
    • 4.3 CRF في Tensorflow vs CRF في مجموعة أدوات منفصلة؟

انقر لعرض الإجابة

• المجال الصيني من المقابلات المشتركة
  • 1. الدافع
    • 1.1 ما الفرق بين التعرف على الكيان الصيني المسمى والإنجليزية المسمى التعرف على الكيان؟
  • 2. تعزيز المفردات
    • 2.1 ما هو تعزيز المفردات؟
    • 2.2 لماذا تعتبر طريقة "تعزيز المفردات" فعالة لمهام NER الصينية؟
    • 2.3 ما هي طرق تعزيز المفردات؟
    • 2.4 الهندسة المعمارية الديناميكية
      • 2.4.1 ما هي العمارة الديناميكية؟
      • 2.4.2 ما هي الطرق الشائعة؟
      • 2.4.3 ما هي Lattice LSTM وما هي المشاكل؟
      • 2.4.4 ما هو المسطح وما هي المشاكل؟
    • 2.5 نموذج التضمين التكيفي
      • 2.5.1 ما هو نموذج التضمين التكيفي؟
      • 2.5.2 ما هي الطرق الشائعة؟
      • 2.5.3 ما هي WC-LSTM وما هي المشاكل؟
  • 3.
    • 3.1 ما هو تحسين معلومات نوع المفردات/الكيان؟
    • 3.2 لماذا تعتبر طريقة "تحسين معلومات نوع المفردات/الكيان" فعالة لمهام NER الصينية؟
    • 3.3 ما هي طرق تعزيز معلومات نوع المفردات/الكيان؟
    • 3.4 ما هو Lex-Bert؟

انقر لعرض الإجابة

• خدعة التعرف على الكيان المسمى
  • خدعة 1: مطابقة قاموس المجال
  • خدعة 2: استخراج القاعدة
  • Trick 3: Word Vector Selection: Word Vector أو Word Vector؟
  • الخدعة 4: كيف تختار مستخرج ميزة؟
  • الخدعة 5: كيف تتعامل مع اسم متميز؟
  • الحيلة 6: كيف تتعامل مع بيانات العلامات غير الكافية؟
  • الخدعة 7: كيفية التعامل مع الاعتراف بالكيان المسمى المتداخلة
    • 7.1 ما هو التعشيش الكيان؟
    • 7.2 الاختلافات من مهام التعرف على الكيانات التقليدية
    • 7.3 الحل:
      • 7.3.1 الطريقة 1: تعليق التسلسل
      • 7.3.2 الطريقة 2: شرح المؤشر
      • 7.3.3 الطريقة 3: تعليق توضيحي طويل
      • 7.3.4 الطريقة 4: ترتيب الأجزاء
  • الحيلة 8: لماذا تعتبر طريقة "تعزيز المفردات" فعالة لمهام NER الصينية؟
  • الخدعة 9: ماذا علي أن أفعل إذا كان امتداد كيان NER طويلًا جدًا؟
  • Trick 10: NER وضع علامات على ضوضاء البيانات؟
  • Trick 11: بالنظر إلى مهامتين لاعتراف الكيان المسماة ، فإن إحدى المهام لديها بيانات كافية والآخر لديه القليل من البيانات. ماذا يمكنني أن أفعل؟
  • Trick 12: هل مشكلة عدم توازن بيانات وضع العلامات ner؟

انقر لعرض الإجابة

4.1.2 المقابلات الشائعة لرسم العلاقة

• رسم علاقة مشتركة
  • 1. الدافع
    • 1.1 ما هو استخراج العلاقة؟
    • 1.2 ما هي أنواع تقنيات استخراج العلاقة؟
    • 1.3 كيف يتم إجراء عمليات استخراج العلاقة الشائعة؟
  • 2. استخراج العلاقة الكلاسيكية
    • 2.1 ماذا تشير طريقة مطابقة القالب؟ ما هي إيجابيات وسلبيات؟
    • 2.2 ما الذي يشير إليه استخراج علاقة الإشراف عن بُعد؟ ما هي إيجابياتها وسلبياتها؟
    • 2.3 ما هي العلاقة تداخل؟ قضايا العلاقة المعقدة؟
    • 2.4 ما هو استخراج المفصل؟ ما هي الصعوبات؟
    • 2.5 ما هي الطرق الإجمالية لاستخراج المفصل؟ ما هي أوجه القصور الخاصة بهم؟
    • 2.6 مقدمة لطريقة استخراج المفصل بناءً على المعلمات المشتركة؟
    • 2.7 مقدمة في فك تشفير المفصل بناءً على فك تشفير المفصل؟
    • 2.8 ما هي التقنيات والتحديات المتطورة في استخراج علاقة الكيان؟ كيفية حل استخراج علاقات الكيان تحت الموارد المنخفضة والعينات المعقدة؟
  • 3. استخراج علاقة على مستوى المستندات
    • 3.1 ما هو الفرق بين استخراج العلاقة على مستوى المستند واستخراج العلاقة الكلاسيكية؟
    • 3.2 ما هي المشكلات التي تواجهها استخراج علاقة على مستوى المستند؟
    • 3.3 ما هي طرق استخراج العلاقة على مستوى المستند؟
      • 3.3.1 كيف يتم استخراج علاقة المستندات على أساس شبيه بيرت؟
      • 3.3.2 كيف يتم استخراج علاقة الوثيقة المستندة إلى الرسم البياني؟
    • 3.4 ما هي مجموعات البيانات الشائعة لاستخراج العلاقة على مستوى المستند وطرق تقييمها؟

انقر لعرض الإجابة

4.1.3 استخراج الحدث المقابلات المشتركة

• رسم الحدث المقابلات المشتركة
  • 1. المبادئ
    • 1.1 ما هو الحدث؟
    • 1.2 ما هو استخراج الحدث؟
    • 1.3 ما هي المصطلحات والمهام الأساسية التي ينطوي عليها استخراج الأحداث في تقييم ACE؟
    • 1.4 كيف يتطور استخراج الحدث؟
    • 1.5 ما هي مشاكل استخراج الأحداث؟
  • 2. المهام الأساسية
    • 2.1 الكشف عن الكلمات
      • 2.1.1 ما هو اكتشاف الكلمات الزناد؟
      • 2.1.2 ما هي طرق اكتشاف الكلمات الزناد؟
    • 2.2 تحديد النوع
      • 2.2.1 ما هو التعرف على النوع؟
      • 2.2.2 ما هي طرق تحديد النوع؟
    • 2.3 التعرف على الأدوار
      • 2.3.1 ما هو التعرف على الأدوار؟
      • 2.3.2 ما هي طرق التعرف على الأدوار؟
    • 2.4 اكتشاف الحجة
      • 2.4.1 ما هو اكتشاف الحجة؟
      • 2.4.2 ما هي طرق اكتشاف الحجة؟
  • 3. الطرق المشتركة
    • 3.1 كيفية استخدام طريقة مطابقة الأنماط في استخراج الأحداث؟
    • 3.2 كيف يتم استخدام أساليب التعلم الآلي الإحصائي في استخراج الأحداث؟
    • 3.3 كيف يتم استخدام طرق التعلم العميق في استخراج الأحداث؟
  • رابعا. مجموعات البيانات ومؤشرات التقييم
    • 4.1 ما هي مجموعات البيانات الإنجليزية الشائعة في استخراج الأحداث؟
    • 4.2 ما هي مجموعات البيانات الصينية الشائعة في استخراج الأحداث؟
    • 4.3 ما هي مؤشرات التقييم لاستخراج الأحداث؟ كيفية حسابه؟
  • 5. مقارنة
    • 5.1 ما هي أوجه التشابه والاختلاف بين استخراج الأحداث والتعرف على الكيان المسماة (أي استخراج الكيان)؟
    • 5.2 ما هي أوجه التشابه والاختلاف بين استخراج الأحداث واستخراج العلاقة؟
    • 5.3 ما هي الخريطة الواضحة؟ ما هي أنواع علاقة الحدث؟ كيف تبني خريطة عقلانية؟ ما هي المجالات الفنية الرئيسية والنقاط الساخنة للتطوير الحالية؟
  • 6. التطبيق
  • 7. التوسع
    • 7.1 ملخص أوراق استخراج الأحداث
    • 7.2 أسئلة وأجوبة استخراج الأحداث

4.2 المقابلات الشائعة لخوارزميات تدريب NLP

• 【حول TF-IDF】 الأشياء التي لا تعرفها
  • 1
    • 1.1 لماذا يوجد واحد؟
    • 1.2 ما هو واحد؟
    • 1.3 ما هي خصائص واحد؟
    • 1.4 ما هي المشكلات التي تواجه حاخنة؟
  • 2. TF-IDF
    • 2.1 ما هو TF-IDF؟
    • 2.2 كيف يقيم TF-IDF أهمية الكلمات؟
    • 2.3 ما هي فكرة TF-IDF؟
    • 2.4 ما هي صيغة الحساب لـ TF-IDF؟
    • 2.5 كيف تصف TF-IDF؟
    • 2.6 ما هي مزايا TF-IDF؟
    • 2.7 ما هي عيوب TF-IDF؟
    • 2.8 تطبيق TF-IDF؟

انقر لعرض الإجابة

• 【حول Word2Vec】 الأشياء التي لا تعرفها
  • 1. مقدمة في Wordvec
    • 1.1 ماذا يعني Wordvec؟
    • 1.2 ماذا يعني CBOW في Wordvec؟
    • 1.3 ماذا يعني Skip-gram في Wordvec؟
    • 1.4 أيهما أفضل لـ CBOW vs Skip-Gram؟
  • 2. مقالة تحسين WordVec
    • 2.1 ما هي شجرة هوفمان في Word2Vec؟
    • 2.2 لماذا تحتاج إلى استخدام شجرة هوفمان في Word2Vec؟
    • 2.3 ما هي فوائد استخدام أشجار هوفمان في Word2Vec؟
    • 2.4 لماذا يتم استخدام أخذ العينات السلبية في Word2Vec؟
    • 2.5 ما هو شكل أخذ العينات السلبية في Word2Vec؟
    • 2.6 ما هي طريقة أخذ العينات لأخذ العينات السلبية في Word2Vec؟
  • 3. مقارنة Wordvec
    • 3.1 ما هو الفرق بين Word2Vec و NNLM؟ (Word2Vec مقابل NNLM)
    • 3.2 ما هو الفرق بين Word2Vec و TF-IDF في حساب التشابه؟
  • 4. WORD2VEC الفصل العملي
    • 4.1 Word2Vec Training Trick ، ​​ما هو حجم إعداد النافذة؟
    • 4.1 Word2VEC Training Trick ، ​​Word Vector Latitude ، ما هي آثار المعلمات الكبيرة والصغيرة ، وغيرها من المعلمات؟

انقر لعرض الإجابة

• 【حول fasttext】 الأشياء التي لا تعرفها
  • 1. الدافع السريع
    • 1.1 ما هو نموذج مستوى الكلمات؟
    • 1.2 ما هي مشاكل نموذج مستوى الكلمات؟
    • 1.3 ما هو نموذج مستوى الشخصية؟
    • 1.4 مزايا النموذج على مستوى الشخصية؟
    • 1.5 هل هناك أي مشكلة في نموذج مستوى الشخصية؟
    • 1.6 حل لمشكلة نموذج مستوى الشخصية؟
  • 2. مقدمة لمعلومات n-gram بالكلمات (معلومات n-gram الفرعية)
    • 2.1 مقدمة
    • 2.2 ما هو fasttext؟
    • 2.3 ما هي بنية fasttext؟
    • 2.4 لماذا يستخدم FastText معلومات n-gram في الكلمة (معلومات الكلمة الفرعية n-gram)؟
    • 2.5 مقدمة لمعلومات n-gram في كلمة fasttext (معلومات الكلمة الفرعية n-gram)؟
    • 2.6 عملية تدريب معلومات n-gram في كلمة fasttext؟
    • 2.7 هل هناك أي مشكلة في معلومات n-gram في كلمة fasttext؟
  • 3. مقدمة في انحدار Softmax الهرمي (softmax التسلسل الهرمي)
    • 3.1 لماذا استخدام الانحدار الهرمي softmax؟
    • 3.2 ما هي فكرة انحدار Softmax التسلسل الهرمي؟
    • 3.3 ما هي الخطوات لانحدار Softmax التسلسل الهرمي؟
  • 4. هل هناك أي مشكلة مع FastText؟

انقر لعرض الإجابة

• 【حول Elmo】 الأشياء التي لا تعرفها
  • 1. دافع إلمو
    • 1.1 لماذا يوجد إلمو؟
  • 2. إلمو مقدمة
    • 2.1 ما هي ميزات Elmo؟
    • 2.2 ما هو فكر إلمو؟
  • 3. إلمو أسئلة
    • 3.1 ما هي مشاكل Elmo؟

انقر لعرض الإجابة

4.3 مقابلات بيرت المشتركة

• بيرت المقابلات المشتركة
  • 1. الدافع
    • 1.1 [تاريخ التطور] هل هناك أي مشكلة مع حذر واحد؟
    • 1.2 [تاريخ التطور] هناك مشكلة في WordVec؟
    • 1.3 [تاريخ التطور] هل هناك أي مشكلة مع FastText؟
    • 1.4 [تاريخ التطور] هل هناك أي مشكلة مع Elmo؟
  • 2. بيرت
    • 2.1 مقدمة بيرت
      • 2.1.1 【بيرت】 ما هو بيرت؟
      • 2.1.2 【بيرت】 بيرت ثلاث نقاط رئيسية؟
    • 2.2 توصيف الإدخال وتوصيف الإخراج بيرت
      • 2.2.1 [BERT] كيف يبدو توصيف إدخال BERT وتوصيف الإخراج؟
    • 2.3 【بيرت】 بيرت قبل التدريب
      • 2.3.1 【Bert】 Bert Pre-Training Contrain
      • 2.3.2 【Bert】 Bert Pre-Training Task Chapter LM
        • 2.3.2.1 【Bert】 لماذا يحتاج Bert إلى مهام التدريب قبل التدريب LM؟
        • 2.3.2.2 【Bert】 كيفية القيام بمهمة Bert قبل التدريب LM؟
        • 2.3.2.3 【Bert】 هل هناك أي مشكلة في مهمة Bert قبل التدريب LM؟
        • 2.3.2.4 【bert】 حل لعدم التوافق بين التدريب المسبق والضغط؟
      • 2.3.3 【Bert】 Bert قبل التدريب المهمة التنبؤ الجماعي القادمة
        • 2.3.3.1 [Bert] لماذا يحتاج Bert إلى مهام ما قبل التدريب التنبؤ الجماعي القادمة؟
        • 2.3.3.2 bert bert】 كيفية القيام بالتنبؤ بالجملة التالية في مهمة تدريب ما قبل التدريب بيرت؟
    • 2.4 【بيرت】 مقال ذي تحول جيد؟
      • 2.4.1 【Bert】 لماذا يحتاج Bert إلى تحول جيد؟
      • 2.4.2 【Bert】 كيف يتم العودة إلى Bert؟
    • 2.5 【بيرت】 وظائف فقدان بيرت؟
      • 2.5.1 [Bert] ما هي وظيفة الخسارة المقابلة للمهمتين قبل التدريب من Bert (معبر عنها في شكل صيغة)؟
  • 3. مقارنة؟
    • 3.1 [التباين] ما هي مشكلة polysynthetics؟
    • 3.2 [مقارنة] لماذا لا يمكن لـ Word2Vec حل مشكلة أسماء polysynony؟
    • 3.3 [مقارنة] ما هو الفرق بين GPT و BERT؟
    • 3.4 [مقارنة] لماذا يمكن أن يحل Elmo و GPT و Bert مشكلة أسماء polysynony؟ (خذ إلمو كمثال)

انقر لعرض الإجابة

• 【حول تحليل رمز مصدر BERT I هي الجسم الرئيسي] الأشياء التي لا تعرفها
• 【حول تحليل رمز مصدر BERT II الفصل قبل التدريب】 الأشياء التي لا تعرفها
• 【حول تحليل رمز مصدر BERT III الفصل الدقيق】 الأشياء التي لا تعرفها
• [حول مقالة Bert Source Code Analysis IV جملة جيل الجملة] أشياء لا تعرفها
• [حول Bert Source Code Analysis chapple

4.3.1 المقابلات الشائعة لضغط نموذج بيرت

• مقابلة مشتركة لضغط النموذج بيرت
  • 1. دافع ضغط النموذج بيرت
  • 2. جدول مقارنة ضغط نموذج بيرت
  • 3. مقدمة لطريقة ضغط نموذج بيرت
    • 3.1 عوامل منخفضة الرتبة ومشاركة معلمات الطبقة المتقاطعة لطريقة ضغط نموذج BERT
      • 3.1.1 ما هو العوامل ذات الرتبة المنخفضة؟
      • 3.1.2 ما هي مشاركة المعلمات عبر الطبقة؟
      • 3.1.3 الطريقة التي يستخدمها ألبرت؟
    • 3.2 تقطير طريقة ضغط نموذج بيرت
      • 3.2.1 ما هو التقطير؟
      • 3.2.2 ما الأوراق التي تستخدم تقطير النموذج؟ اسمحوا لي أن أقدمها لفترة وجيزة؟
    • 3.3 القياس الكمي لطريقة ضغط نموذج BERT
      • 3.3.1 ما هو القياس الكمي؟
      • 3.3.2 Q-bert: الكميات الدقيقة الفائقة الدقة القائمة على Hessian من Bert 【الكمية】
    • 3.4 طريقة ضغط نموذج بيرت
      • 3.4.1 ما هو التقليم؟
  • 4. هل هناك أي مشكلة في ضغط النموذج؟

انقر لعرض الإجابة

4.3.2 المقابلات الشائعة لسلسلة Bert Model

• هل تعرف xlnet؟ هل يمكن أن تخبرني؟ ما الفرق بين بيرت؟
• هل تعرف روبرتا؟ هل يمكن أن تخبرني؟ ما الفرق بين بيرت؟
• هل تعرف سبانبرت؟ هل يمكن أن تخبرني؟ ما الفرق بين بيرت؟
• هل تعرف القداس؟ هل يمكن أن تخبرني؟ ما الفرق بين بيرت؟

انقر لعرض الإجابة

4.4 المقابلات الشائعة لتصنيف النص

• المقابلات الشائعة لتصنيف النص
  • 1. المقترحات التجريدية
    • 1.1 ما هي فئات مهام التصنيف؟ ما هي خصائصهم؟
    • 1.2 ما هي الاختلافات بين مهام التصنيف النصية مقارنة بمهام التصنيف في مجالات أخرى؟
    • 1.3 ما هو الفرق بين مهام تصنيف النص والمهام الأخرى في حقل النص؟
    • 1.4 عملية تصنيف النص؟
  • 2. البيانات المسبقة للبيانات
    • 2.1 ما هي طرق المعالجة المسبقة للبيانات لمهام تصنيف النص؟
    • 2.2 ما هي طرق وأدوات النعت التي استخدمتها؟
    • 2.3 كيفية مشاركة النصوص الصينية؟
    • 2.4 ما هو مبدأ طريقة تجزئة الكلمات بناءً على مطابقة السلسلة؟
    • 2.5 كيف يتم تطبيق نماذج اللغة الإحصائية على Word Gollle؟ N-Gram أقصى احتمال النعت؟
    • 2.6 ما هي طريقة تجزئة الكلمات بناءً على شرح التسلسل؟
    • 2.7 ما هو التعليق التوضيحي لجزء الكلام على أساس (ثنائية) LSTM؟
    • 2.8 ما هو الفرق بين استخراج الساق واستعادة شكل الكلمات؟
  • 3. استخراج الميزة
    • 3.1 (أ) ما هي الخصائص التي يمكن استخدامها في مهمة تصنيف النص؟
    • 3.2 (للنصوص الغربية) ما هو الفرق بين استخدام الكلمات واستخدام الحروف كخصائص؟
    • 3.3 هل يمكنك تقديم نموذج نموذج الكلمات لفترة وجيزة؟
    • 3.4 N-Gram
      • 3.4.1 ما هو بناء جملة N-Method؟ لماذا تستخدم n-gram؟
      • 3.4.2 ما هي حدود خوارزمية N-Gram؟
    • 3.5 نمذجة الموضوع
      • 3.5.1 مقدمة لمهمة نمذجة الموضوع؟
      • 3.5.2 الطرق الشائعة لنمذجة الموضوع
      • 3.5.3 ماذا تفعل خوارزمية TF-IDF؟ مقدمة موجزة لخوارزمية TF-IDF
      • 3.5.4 ماذا يعني TF-IDF عالية؟
      • 3.5.5 أوجه القصور في TF-IDF
    • 3.6 تشابه النص
      • 3.6.1 كيفية حساب المسافة بين فقرتين من النص؟
      • 3.6.2 ما هي مسافة Jaccard؟
      • 3.6.3 ما هو الفرق بين معامل النرد ومعامل jaccard؟
      • 3.6.4 نفس المسافة هو تحرير المسافة ، ما هو الفرق بين مسافة ليفينشتاين ومسافة هامينغ؟
      • 3.6.5 اكتب سؤال برمجة حول حساب مسافة التحرير (مسافة لوينشتاين)؟
  • 4. نموذج
    • 4.1 fasttext
      • 4.1.1 عملية تصنيف fasttext؟
      • 4.1.2 ما هي مزايا fasttext؟
    • 4.2 TextCnn
      • 4.2.1 عملية تصنيف النص textCnn؟
      • 4.2.2 ما هي المعلمات التي يمكن لضبط TextCnn؟
      • 4.2.3 عند استخدام CNN كمصنف نص ، ما هي المعلومات التي تتوافق مع القنوات المختلفة مع النص؟
      • 4.2.4 ما الذي يمثله طول وعرض نواة الالتواء في TextCnn؟
      • 4.2.5 ما هو الفرق بين عمليات التجميع في عمليات TextCnn وتجميع عمليات CNN بشكل عام؟
      • 4.2.6 قيود TextCnn؟
    • 4.3 DPCNN
      • 4.3.1 كيفية حل مهمة تصنيف النص الطويل؟
      • 4.3.2 قدم بإيجاز تحسينات نموذج DPCNN مقارنة مع TextCnn؟
    • 4.4 Textrcnn
      • 4.4.1 قدم بإيجاز تحسينات Textrcnn مقارنة مع TextCnn؟
    • 4.5 RNN+الانتباه
      • 4.5.1 فكرة انتباه RNN+لمهام تصنيف النص ، ولماذا يجب إضافة آلية الاهتمام/الاهتمام؟
    • 4.6 الشبكة العصبية GNN الرسم البياني
      • 4.6.1 كيف يتم تطبيق شبكة GNN الشبكة العصبية على حقل تصنيف النص؟
    • 4.7 محول
      • 4.7.1 كيفية تطبيق النماذج التي تم تدريبها مسبقًا بناءً على محول إلى حقل تصنيف النص؟
    • 4.8 نموذج ما قبل التدريب
      • 4.8.1 ما هي النماذج التي تم تدريبها مسبقًا؟ ما هي خصائصهم؟
  • خامسا وظيفة الخسارة
    • 5.1 وظيفة التنشيط sigmoid
      • 5.1.1 مقدمة لوظيفة التنشيط sigmoid المستخدمة لمشاكل التصنيف الثنائي؟
      • 5.1.2 ما هي عيوب سيغمود؟
    • 5.2 تنشيط وظيفة softmax
      • 5.2.1 ما هي وظيفة softmax؟
      • 5.2.2 كيفية العثور على مشتق وظيفة softmax؟
    • 5.3 ما هي وظائف الخسارة الأخرى المستخدمة لمشاكل التصنيف؟
  • 6. تقييم النموذج ومقارنة الخوارزمية
    • 6.1 ما هي خوارزميات التقييم والمؤشرات المستخدمة في مهام تصنيف النص؟
    • 6.2 مقدمة موجزة لمصفوفة الارتباك وكابا؟

انقر لعرض الإجابة

• خدعة تصنيف النصوص المشتركة
  • 1. كيفية معالجة بيانات تصنيف النص المسبق؟
  • 2. كيفية اختيار نموذج تصنيف النص مسبقًا؟
  • 3. كيفية تحسين معلمات تصنيف النص؟
  • 4. ما هي المهام الصعبة لتصنيف النص؟
  • 5. بناء نظام تصنيف النص؟
  • 6. بناء استراتيجية تصنيف النص؟

انقر لعرض الإجابة

• استخدم طرق البحث لإجراء مقابلات شائعة لتصنيف النص
  • لماذا نحتاج إلى استخدام البحث لتصنيف النص؟
  • ما هي فكرة تصنيف النص بناءً على طرق البحث؟
  • كيفية بناء مكتبة استدعاء للطريقة التي تم استردادها؟
  • كيف تفعل مرحلة التدريب لطريقة البحث؟
  • كيف تفعل مرحلة التنبؤ لطريقة البحث؟
  • ما هي السيناريوهات المعمول بها لتصنيف النص باستخدام طرق البحث؟

انقر لعرض الإجابة

4.5 المقابلات الشائعة لمطابقة النص

• نموذج مطابقة نموذج ESIM المقابلات المشتركة
  • لماذا تحتاج esim؟
  • ماذا عن تقديم نموذج ESIM؟

انقر لعرض الإجابة

• المقابلات الشائعة لبيرت في مهام مطابقة التشابه الدلالي
  • 1. مهمة تصنيف زوج الجملة: استخدم CLS
  • 2. تشابه جيب التمام
  • 3. الفرق بين النصوص الطويلة والقصيرة
  • 4. الجملة/تضمين كلمة
  • 5. طريقة شبكة سيامي

انقر لعرض الإجابة

4.6 المقابلات الشائعة لنظام الأسئلة والأجوبة

4.6.1 المقابلات الشائعة لنظام أسئلة وأجوبة في البحث عن البحث عن البحث عن الأسئلة والأجوبة

• 1. الدافع
  • 1.1 حافز نظام الأسئلة والأجوبة؟
  • 1.2 ما هو نظام الأسئلة والأجوبة؟
• 2.
  • 2.1 ما هو نظام الأسئلة والجواب القائم على البحث عن الأسئلة الشائعة؟
  • 2.2 ما هو جوهر مطابقة الاستعلام القياسي QA؟
• 3. حل نظام أسئلة وأجوبة قائم على البحث عن الأسئلة والأسئلة الشائعة
  • 3.1 ما هي الحلول الشائعة الاستخدام؟
  • 3.2 لماذا يتم استخدام QQ بشكل أكثر شيوعًا؟
    • 3.2.1 ما هي مزايا مطابقة QQ؟
    • 3.2.2 ما هي المساحة الدلالية لمطابقة QQ؟
    • 3.2.3 ما هو استقرار مجموعة QQ المطابقة؟
    • 3.2.4 ما هو فصل الإجابات التجارية المطابقة لـ QQ ونموذج الخوارزمية؟
    • 3.2.5 ما هو اكتشاف وتكريس المشكلات الجديدة لمطابقة QQ؟
    • 3.2.6 ما هي سرعة التشغيل عبر الإنترنت لمطابقة QQ؟
  • 3.3 ما هي عملية المعالجة العامة لمطابقة QQ؟ [على افتراض أن بنك المشكلة القياسي قد تمت معالجته]
• 4. بناء بنك المشكلات المعيارية الأسئلة الشائعة
  • 4.1 كيفية العثور على المشكلات القياسية في الأسئلة الشائعة؟
  • 4.2 كيفية تقسيم الأسئلة الشائعة؟
  • 4.3 كيفية دمج الأسئلة الشائعة؟
  • 4.4 كيفية تحديث المكتبة القياسية لأسئلة الشرق الأوسط في الوقت الفعلي؟
• 5.
  • 5.1 كيفية تحسين الإجابات على بنك الأسئلة المعياري للأسئلة الشائعة؟

انقر لعرض الإجابة

4.6.2 أدوات نظام الأسئلة والأجوبة في المقابلات الشائعة

• المقابلات المشتركة FAISS
  • 1. الدافع
    • 1.1 ما هي مشاكل خوارزميات التشابه التقليدية؟
  • 2. مقدمة
    • 2.1 ما هو Faiss؟
    • 2.2 كيفية استخدام Faiss؟
    • 2.3 مبدأ فايس والخوارزمية الأساسية
  • 3. الفصل العملي فيس
    • 3.1 كيفية تثبيت Faiss؟
    • 3.2 ما هي فهارس فهرس فايس؟
    • 3.3 كيفية استخدام فهرس فهرس فايس؟
      • 3.3.1 إعداد البيانات
      • 3.3.2 جماليات العنف IndexFlatl2
      • 3.3.3 The Flash IndexivFlat
      • 3.3.4 Memory Manager IndexIVFPQ
    • 3.4 فايس ثم استخدم GPU؟
  • 4. مقارنة فايس
    • 4.1 أي واحد هو أفضل ، sklearn contin_similarity أو faiss

4.7 المقابلات الشائعة لنظام الحوار

• المقابلات الشائعة لنظام الحوار
  • 1. مقدمة لنظام الحوار
    • 1.1 ما هي أنظمة الحوار؟
    • 1.2 ما هي الاختلافات بين أنظمة الحوار هذه؟
  • 2. مقدمة لنظام الحوار متعدد الدورات
    • 2.1 لماذا تستخدم نظام حوار متعدد الدور؟
    • 2.2 ما هي حلول نظام الحوار متعددة الجولات الشائعة؟
  • 3. مقدمة لنظام الحوار القائم على المهام
    • 3.1 ما هو نظام الحوار القائم على المهام؟
    • 3.2 ما هي عملية نظام الحوار القائم على المهام؟
    • 3.3 فهم لغة الحوار القائم على المهام (SLU)
      • 3.3.1 ما هو فهم اللغة (SLU)؟
      • 3.3.2 ما هي مدخلات ومخرجات فهم اللغة (SLU)؟
      • 3.3.3 ما هي التقنيات المستخدمة في فهم اللغة (SLU)؟
    • 3.4 نظام الحوار القائم على المهام DST (تتبع حالة الحوار)
      • 3.4.1 ما هو DST (تتبع حالة الحوار)؟
      • 3.4.2 ما هي مدخلات وإخراج DST (تتبع حالة الحوار)؟
      • 3.4.3 هل تواجه DST (تتبع حالة الحوار) مشاكل وحلول؟
      • 3.4.4 ما هي طريقة تنفيذ DST (تتبع حالة الحوار)؟
    • 3.5 DPO (تعلم استراتيجية الحوار) الفصل من نظام الحوار القائم على المهام
      • 3.5.1 ما هو DPO (تعلم استراتيجية الحوار)؟
      • 3.5.2 ما هي مدخلات ومخرجات DPO (تعلم استراتيجية الحوار)؟
      • 3.5.3 ما هي طريقة تنفيذ DPO (تعلم استراتيجية الحوار)؟
    • 3.6 نظام الحوار القائم على المهام NLG (توليد اللغة الطبيعية)
      • 3.6.1 ما هو NLG (توليد اللغة الطبيعية)؟
      • 3.6.2 ما هي مدخلات ومخرجات NLG (توليد اللغة الطبيعية)؟
      • 3.6.3 هل تنفيذ NLG (توليد اللغة الطبيعية)؟

انقر لعرض الإجابة

4.8 المقابلات الشائعة للرسوم البيانية المعرفة

4.8.1 المقابلات الشائعة للرسوم البيانية المعرفة

• 1. مقدمة في الرسم البياني المعرفة
  • 1.1 مقدمة
  • 1.2 ما هو الرسم البياني المعرفة؟
    • 1.2.1 ما هو الرسم البياني؟
    • 1.2.2 ما هو المخطط؟
  • 1.3 ما هي فئات الرسوم البيانية للمعرفة؟
  • 1.4 ما هي قيمة الرسم البياني للمعرفة؟
• 2. كيفية بناء رسم بياني المعرفة؟
  • 2.1 من أين تأتي البيانات من الرسم البياني المعرفة؟
  • 2.2 ما هي الصعوبات في استخراج المعلومات؟
  • 2.3 التقنيات المشاركة في بناء رسم بياني المعرفة؟
  • 2.4. ما هي التكنولوجيا المحددة لبناء رسم بياني للمعرفة؟
    • 2.4.1 اسم التعرف على الكيان
    • 2.4.2 استخراج العلاقة
    • 2.4.3 قرار الكيان
    • 2.4.4 يشير إلى الغموض
• 3. كيفية تخزين الرسوم البيانية المعرفة؟
• 4. ماذا يمكن أن يفعل الرسم البياني المعرفة؟

انقر لعرض الإجابة

4.8.2 kbqa المقابلات المشتركة

• 1. الأساليب القائمة على القاموس والقواعد
  • تنفيذ KBQA بناءً على القاموس والقواعد؟
  • تنفيذ عملية KBQA بناءً على القاموس والقواعد؟
• 2. الأساليب القائمة على استخراج المعلومات
  • تنفيذ عملية KBQA بناءً على استخراج المعلومات؟

انقر لعرض الإجابة

4.8.3 المقابلات المشتركة NEO4J

• 1. Neo4J مقدمة وتثبيت
  • 1.1 مقدمة
  • 1.2 كيفية تنزيل neo4j؟
  • 1.3 كيفية تثبيت neo4j؟
  • 1.4 مقدمة لواجهة الويب neo4j
  • 1.5 ما هي لغة استعلام Cypher؟
• 2. إضافة Neo4J والحذف والبحث والتعديل
  • 2.1 مقدمة
  • 2.2 كيفية إنشاء عقدة في neo4j؟
  • 2.3 كيفية إنشاء علاقة في neo4j؟
  • 2.4 كيفية إنشاء علاقة مسقط رأس في Neo4J؟
  • 2.5 كيفية الاستعلام عن neo4j؟
  • 2.6 كيفية حذف وتعديل neo4j؟
• 3. كيفية استخدام Python لتشغيل قاعدة بيانات الرسم البياني Neo4J؟
  • 3.1 وحدة NEO4J: ما هو تنفيذ بيان CQL (Cypher)؟
  • 3.2 ما هي وحدة Py2neo؟
• 4. بيانات Data Neo4J Diagram Database

انقر لعرض الإجابة

4.9 ملخص النص المقابلات المشتركة

• 1. الدافع
  • 1.1 ما هو ملخص النص؟
  • 1.2 ما هي أنواع تقنيات ملخص النص؟
• 2. ملخص الاستخراج
  • 2.1 كيف تصنع ملخصًا حاسمًا؟
    • 2.1.1 ما هي خوارزميات تقييم أهمية الجملة؟
    • 2.1.2 ما هي طرق توليد الملخص القائمة على القيد؟
    • 2.1.3 كيف تستخلص خوارزمية TextTeaser من الملخص؟
    • 2.1.4 كيف تستخلص خوارزمية Textrank من الملخص؟
  • 2.2 ما هي مشكلة قابلية القراءة من الملخص المستخرج؟
• 3. ملخص مضغوط
  • 3.1 كيف تجعل ملخصًا مضغوطًا؟
• 4. ملخص التوليد
  • 4.1 كيف تصنع ملخصًا توليديًا؟
  • 4.2 ما هي مشاكل الملخص التوليدي؟
  • 4.3 ما هي المشكلات التي تحلها شبكة المولد للمؤشر؟
• V. طريقة تقييم الجودة التجريدية
  • 5.1 ما هي أنواع طرق تقييم الجودة التجريدية؟
  • 5.2 ما هو روج؟
  • 5.3 ما هو الفرق بين العديد من مؤشرات Rouge؟
  • 5.4 ما هو الفرق بين بلو و روج؟

انقر لعرض الإجابة

4.10 مقالة تصحيح خطأ النص

• 1. مقدمة
  • 1.1 ما هو تصحيح خطأ النص؟
  • 1.2 أنواع أخطاء النص الشائعة؟
  • 1.3 الطرق الشائعة لتصحيح خطأ النص؟
• 2. مقدمة لطريقة خط الأنابيب
  • كيفية تنفيذ الكشف عن الأخطاء في خط الأنابيب؟
  • كيفية تنفيذ استدعاء المرشح في خط الأنابيب؟
  • كيفية تنفيذ فرز تصحيح الخطأ في خط الأنابيب؟
  • كيفية تنفيذ تحسين ASR ECHO في خط الأنابيب؟

انقر لعرض الإجابة

4.11 ملخص النص المقابلات المشتركة

• 1. الدافع
  • 1.1 ما هو ملخص النص؟
  • 1.2 ما هي أنواع تقنيات ملخص النص؟
• 2. ملخص الاستخراج
  • 2.1 كيف تصنع ملخصًا حاسمًا؟
    • 2.1.1 ما هي خوارزميات تقييم أهمية الجملة؟
    • 2.1.2 ما هي طرق توليد الملخص القائمة على القيد؟
    • 2.1.3 كيف تستخلص خوارزمية TextTeaser من الملخص؟
    • 2.1.4 كيف تستخلص خوارزمية Textrank من الملخص؟
  • 2.2 ما هي مشكلة قابلية القراءة من الملخص المستخرج؟
• 3. ملخص مضغوط
  • 3.1 كيف تجعل ملخصًا مضغوطًا؟
• 4. ملخص التوليد
  • 4.1 كيف تصنع ملخصًا توليديًا؟
  • 4.2 ما هي مشاكل الملخص التوليدي؟
  • 4.3 ما هي المشكلات التي تحلها شبكة المولد للمؤشر؟
• V. طريقة تقييم الجودة التجريدية
  • 5.1 ما هي أنواع طرق تقييم الجودة التجريدية؟
  • 5.2 ما هو روج؟
  • 5.3 ما هو الفرق بين العديد من مؤشرات Rouge؟
  • 5.4 ما هو الفرق بين بلو و روج؟

انقر لعرض الإجابة

4.12 المقابلات الشائعة لتوليد النصوص

• المقابلات الشائعة لفك التشفير لتوليد النماذج
  • ما هو النموذج التوليدي؟
  • ما هي طرق فك التشفير المستندة إلى البحث؟
  • ما هي أساليب فك التشفير القائمة على أخذ العينات؟

انقر لعرض الإجابة

3. خوارزمية التعلم العميق مقابلة مشتركة

• المقابلات الشائعة CNN
  • 1. الدافع
  • 2. الطبقة التلافيفية CNN
    • 2.1 ما هو جوهر الطبقة التلافيفية؟
    • 2.2 ما هي العلاقة بين الطبقة التلافيفية CNN والطبقة المتصلة بالكامل؟
    • 2.3 ماذا تعني القناة؟
  • 3. طبقة تجميع CNN
    • 3.1 ما هي طبقة التجميع للمنطقة؟
    • 3.2 ما هي أنواع طبقات التجميع؟
    • 3.3 ما هي وظيفة طبقة التجميع؟
    • 3.4 ما هو backpropagation في طبقة التجميع مثل؟
    • 3.5 ما هو يعني تجميع backpropagation مثل؟
    • 3.6 ما هو backpropagation من طبقة التجميع مثل؟
  • 4. CNN بشكل عام
    • 4.1 ما هي عملية CNN؟
    • 4.2 ما هي خصائص سي إن إن؟
    • 4.3 لماذا الشبكة العصبية التلافيفية لها ثبات متعرج؟
    • 4.4 كيف يتم تنفيذ IM2COL في الشبكة العصبية التلافيفية؟
    • 4.5 ما هي حدود سي إن إن؟
  • 5.
    • 5.1 ما هو الالتفاف الفراغ CNN المتوسع؟
    • 5.2 ما الذي تم تكراره CNN المتوسع؟
  • 6. deconvolution
    • 6.1 اشرح مبادئ واستخدامات deconvolution؟

انقر لعرض الإجابة

• المقابلات المشتركة RNN
  • 1. RNN
    • 1.2 لماذا أحتاج إلى RNN؟
    • 1.2 ما هو هيكل RNN؟
    • 1.3 RNN Forward Account Formula؟
    • 1.4 ما هي مشاكل RNN؟
  • 2. شبكة ذاكرة قصيرة المدى طويلة (LSTM)
    • 2.1 لماذا تحتاج LSTM؟
    • 2.2 ما هي بنية LSTM؟
    • 2.3 كيف تخفف LSTM من مشاكل الانفجار المتدرج RNN والانفجار التدريجي؟
    • 2.3 ما هي عملية LSTM؟
    • 2.4 ما هي الاختلافات في وظائف التنشيط في LSTM؟
    • 2.5 تعقيد LSTM؟
    • 2.6 ما هي المشكلات التي توجد بها LSTM؟
  • 3. جرو (وحدة متكررة بوابات)
    • 3.1 لماذا تحتاج GRU؟
    • 3.2 ما هي بنية GRU؟
    • 3.3 الحساب الأمامي لـ GRU؟
    • 3.4 ما هو الفرق بين GRU ونماذج سلسلة RNN الأخرى؟
  • 4. نموذج سلسلة RNN
    • 4.1 ما هي خصائص نموذج سلسلة RNN؟

انقر لعرض الإجابة

• انتباه المقابلات الشائعة
  • 1. seq2seq
    • 1.1 ما هو SEQ2Seq (ترميز التشفير)؟
    • 1.2 ماذا عن التشفير في seq2seq؟
    • 1.3 ماذا عن فك التشفير في SEQ2Seq؟
    • 1.4 هل تعرف SEQ2Seq من منظور رياضي؟
    • 1.5 ما هي المشكلات التي يواجهها Seq2Seq؟
  • 2. الانتباه
    • 2.1 ما هو الاهتمام؟
    • 2.2 لماذا يتم إدخال آلية الانتباه؟
    • 2.3 ما هي وظيفة الاهتمام؟
    • 2.4 ما هي عملية الاهتمام؟
      • الخطوة 1 لتنفيذ التشفير (بما يتوافق مع SEQ2Seq)
      • الخطوة 2 حساب معامل المحاذاة أ
      • الخطوة 3: حساب السياق المتجه الدلالي ج
      • الخطوة 4 تحديث حالة فك الترميز
      • الخطوة 5 حساب كلمات التنبؤ الإخراج
    • 2.5 ما هي مجالات تطبيق الاهتمام؟
  • 3. انتباه البديل
    • 3.1 ما هو الاهتمام الناعم؟
    • 3.2 ما هو الاهتمام الشاق؟
    • 3.3 ما هو الاهتمام العالمي؟
    • 3.4 ما هو الاهتمام المحلي؟
    • 3.5 ما هو الاهتمام الذاتي؟

انقر لعرض الإجابة

• توليد الشبكة العدوانية GAN المقابلات المشتركة
  • 1. الدافع
  • 2. مقدمة
    • 2.1 الأفكار الأساسية لـ GAN
    • 2.2 مقدمة أساسية لـ GAN
      • 2.2.1 GAN 的基本结构
      • 2.2.2 GAN 的基本思想
  • 三、训练篇
    • 3.1 生成器介绍
    • 3.2 判别器介绍
    • 3.3 训练过程
    • 3.4 训练所涉及相关理论基础
  • 四、总结

点击查看答案

3.1 Transformer 常见面试篇

• Transformer 常见面试篇
  • 一、动机篇
    • 1.1 为什么要有Transformer?
    • 1.2 Transformer 作用是什么？
  • 二、整体结构篇
    • 2.1 Transformer 整体结构是怎么样？
    • 2.2 Transformer-encoder 结构怎么样？
    • 2.3 Transformer-decoder 结构怎么样?
  • 三、模块篇
    • 3.1 self-attention 模块
      • 3.1.1 传统attention 是什么?
      • 3.1.2 为什么会有self-attention?
      • 3.1.3 self-attention 的核心思想是什么?
      • 3.1.4 self-attention 的目的是什么?
      • 3.1.5 self-attention 的怎么计算的?
      • 3.1.6 self-attention 为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？
      • 3.1.7 为什么采用点积模型的self-attention 而不采用加性模型？
      • 3.1.8 Transformer 中在计算self-attention 时为什么要除以 $sqrt{d}$ ؟
      • 3.1.9 self-attention 如何解决长距离依赖问题？
      • 3.1.10 self-attention 如何并行化？
    • 3.2 multi-head attention 模块
      • 3.2.1 multi-head attention 的思路是什么样?
      • 3.2.2 multi-head attention 的步骤是什么样?
      • 3.2.3 Transformer为何使用多头注意力机制？（为什么不使用一个头）
      • 3.2.4 为什么在进行多头注意力的时候需要对每个head进行降维？
      • 3.2.5 multi-head attention 代码介绍
    • 3.3 位置编码（Position encoding）模块
      • 3.3.1 为什么要加入位置编码（Position encoding） ？
      • 3.3.2 位置编码（Position encoding）的思路是什么？
      • 3.3.3 位置编码（Position encoding）的作用是什么？
      • 3.3.4 位置编码（Position encoding）的步骤是什么？
      • 3.3.5 Position encoding为什么选择相加而不是拼接呢？
      • 3.3.6 Position encoding和Position embedding的区别？
      • 3.3.7 为何17年提出Transformer时采用的是Position Encoder 而不是Position Embedding？而Bert却采用的是Position Embedding ？
      • 3.3.8 位置编码（Position encoding）的代码介绍
    • 3.4 残差模块模块
      • 3.4.1 为什么要加入残差模块？
    • 3.5 Layer normalization 模块
      • 3.5.1 为什么要加入Layer normalization 模块？
      • 3.5.2 Layer normalization 模块的是什么？
      • 3.5.3 Batch normalization 和Layer normalization 的区别？
      • 3.5.4 Transformer 中为什么要舍弃Batch normalization 改用Layer normalization 呢?
      • 3.5.5 Layer normalization 模块代码介绍
    • 3.6 Mask 模块
      • 3.6.1 什么是Mask？
      • 3.6.2 Transformer 中用到几种Mask？
      • 3.6.3 能不能介绍一下Transformer 中用到几种Mask？

点击查看答案

• 【关于Transformer 问题及改进】那些你不知道的事
  • 一、Transformer 问题篇
    • 1.1 既然Transformer 怎么牛逼，是否还存在一些问题？
  • 二、每个问题的解决方法是什么？
    • 2.1 问题一：Transformer 不能很好的处理超长输入问题
      • 2.1.1 Transformer 固定了句子长度？
      • 2.1.2 Transformer 固定了句子长度的目的是什么？
      • 2.1.3 Transformer 针对该问题的处理方法？
    • 2.2 问题二：Transformer 方向信息以及相对位置的缺失问题
    • 2.3 问题三：缺少Recurrent Inductive Bias
    • 问题四：问题四：Transformer是非图灵完备的： 非图灵完备通俗的理解，就是无法解决所有的问题
    • 问题五：transformer缺少conditional computation；
    • 问题六：transformer 时间复杂度和空间复杂度过大问题；

五、NLP 技巧面

5.1 少样本问题面

5.1.1 数据增强（EDA） 面试篇

• 一、动机篇
  • 1.1 什么是数据增强？
  • 1.2 为什么需要数据增强？
• 二、常见的数据增强方法篇
  • 2.1 词汇替换篇
    • 2.1.1 什么是基于词典的替换方法？
    • 2.1.2 什么是基于词向量的替换方法？
    • 2.1.3 什么是基于MLM 的替换方法？
    • 2.1.4 什么是基于TF-IDF 的词替换？
  • 2.2 词汇插入篇
    • 2.2.1 什么是随机插入法？
  • 2.3 词汇交换篇
    • 2.3.1 什么是随机交换法？
  • 2.4 词汇删除篇
    • 2.4.1 什么是随机删除法？
  • 2.5 回译篇
    • 2.5.1 什么是回译法？
  • 2.6 交叉增强篇
    • 2.6.1 什么是交叉增强篇
  • 2.7 语法树篇
    • 2.7.1 什么是语法树操作？
  • 2.8 对抗增强篇
    • 2.8.1 什么是对抗增强？

点击查看答案

5.1.2 主动学习面试篇

• 一、动机篇
  • 1.1 主动学习是什么？
  • 1.2 为什么需要主动学习？
• 二、主动学习篇
  • 2.1 主动学习的思路是什么？
  • 2.2 主动学习方法的价值点在哪里？
• 三、样本选取策略篇
  • 3.1 以未标记样本的获取方式的差别进行划分
  • 3.2 测试集内选取“信息”量最大的数据标记
    • 3.2.1 测试集内选取“信息”量最大的数据标记
    • 3.2.2 依赖不确定度的样本选取策略（Uncertainty Sampling, US）
    • 3.2.3 基于委员会查询的方法（Query-By-Committee，QBC）

点击查看答案

5.1.3 数据增强之对抗训练面试篇

• 一、介绍篇
  • 1.1 什么是对抗训练？
  • 1.2 为什么对抗训练能够提高模型效果？
  • 1.3 对抗训练有什么特点？
  • 1.4 对抗训练的作用?
• 二、概念篇
  • 2.1 对抗训练的基本概念?
  • 2.2 如何计算扰动?
  • 2.3 如何优化?
• 三、实战篇
  • 3.1 NLP 中经典对抗训练之Fast Gradient Method（FGM）
  • 3.2 NLP 中经典对抗训练之Projected Gradient Descent（PGD）

点击查看答案

5.2 “脏数据”处理面试篇

• 一、动机
  • 1.1 何为“脏数据”？
  • 1.2 “脏数据” 会带来什么后果？
• 二、“脏数据” 处理篇
  • 2.1 “脏数据” 怎么处理呢？
  • 2.2 置信学习方法篇
    • 2.2.1 什么是置信学习方法？
    • 2.2.2 置信学习方法优点？
    • 2.2.3 置信学习方法怎么做？
    • 2.2.4 置信学习方法怎么用？有什么开源框架？
    • 2.2.5 置信学习方法的工作原理？

点击查看答案

5.3 batch_size设置面试篇

• 一、训练模型时，batch_size的设置，学习率的设置?

点击查看答案

5.4 早停法EarlyStopping 面试篇

• 一、 为什么要用早停法EarlyStopping？
• 二、 早停法EarlyStopping 是什么？
• 三、早停法torch 版本怎么实现？

点击查看答案

5.5 标签平滑法LabelSmoothing 面试篇

• 一、为什么要有标签平滑法LabelSmoothing？
• 二、 标签平滑法是什么？
• 三、 标签平滑法torch 怎么复现？

点击查看答案

5.6 Bert Trick 面试篇

5.6.1 Bert 未登录词处理面试篇

• 什么是Bert 未登录词？
• Bert 未登录词如何处理？
• Bert 未登录词各种处理方法有哪些优缺点？

点击查看答案

5.6.2 BERT在输入层引入额外特征面试篇

• BERT在输入层如何引入额外特征？

点击查看答案

5.6.3 关于BERT 继续预训练面试篇

• 什么是继续预训练？
• 为什么会存在【数据分布/领域差异】大问题？
• 如何进行继续预训练？
• 还有哪些待解决问题？
• 训练数据问题解决方案？
• 知识缺乏问题解决方案？
• 知识理解缺乏问题解决方案？

点击查看答案

5.6.4 BERT如何处理篇章级长文本面试篇

• 为什么Bert 不能处理长文本？
• BERT 有哪些处理篇章级长文本?

点击查看答案

六、 Prompt Tuning 面试篇

6.1 Prompt 面试篇

1. 什么是prompt？
2. 如何设计prompt？
3. prompt进阶——如何自动学习prompt？
4. Prompt 有哪些关键要点？
5. Prompt 如何实现？

点击查看答案

6.2 Prompt 文本生成面试篇

1. Prompt之文本生成评估手段有哪些？
2. Prompt文本生成具体任务有哪些？

点击查看答案

6.3 LoRA 面试篇

1. 什么是lora？
2. lora 是怎么做的呢？
3. lora 为什么可以这样做？
4. 用一句话描述lora？
5. lora 优点是什么？
6. lora 缺点是什么？
7. lora 如何实现？

点击查看答案

6.4 PEFT（State-of-the-art Parameter-Efficient Fine-Tuning）面试篇

• 一、微调Fine-tuning 篇
  • 1.1 什么是微调Fine-tuning ？
  • 1.2 微调Fine-tuning 基本思想是什么？
• 二、轻度微调（lightweight Fine-tuning）篇
  • 2.1 什么是轻度微调（lightweight Fine-tuning）？
• 三、适配器微调（Adapter-tuning）篇
  • 3.1 什么是适配器微调（Adapter-tuning）？
  • 3.2 适配器微调（Adapter-tuning）变体有哪些？
• 四、提示学习（Prompting）篇
  • 4.1 什么是提示学习（Prompting）？
  • 4.2 提示学习（Prompting）的目的是什么？
  • 4.3 提示学习（Prompting） 代表方法有哪些？
    • 4.3.1 前缀微调（Prefix-tining）篇
      • 4.3.1.1 什么是前缀微调（Prefix-tining）？
      • 4.3.1.2 前缀微调（Prefix-tining）的核心是什么？
      • 4.3.1.3 前缀微调（Prefix-tining）的技术细节有哪些？
      • 4.3.1.4 前缀微调（Prefix-tining）的优点是什么？
      • 4.3.1.5 前缀微调（Prefix-tining）的缺点是什么？
    • 4.3.2 指示微调（Prompt-tuning）篇
      • 4.3.2.1 什么是指示微调（Prompt-tuning）？
      • 4.3.2.2 指示微调（Prompt-tuning）的核心思想？
      • 4.3.2.3 指示微调（Prompt-tuning）的优点/贡献是什么？
      • 4.3.2.4 指示微调（Prompt-tuning）的缺点是什么？
      • 4.3.2.5 指示微调（Prompt-tuning）与Prefix-tuning 区别是什么？
      • 4.3.2.6 指示微调（Prompt-tuning）与fine-tuning 区别是什么？
    • 4.3.3 P-tuning 篇
      • 4.3.3.1 P-tuning 动机是什么？
      • 4.3.3.2 P-tuning 核心思想是什么？
      • 4.3.3.3 P-tuning 做了哪些改进？
      • 4.3.3.4 P-tuning 有哪些优点/贡献？
      • 4.3.3.5 P-tuning 有哪些缺点？
    • 4.3.4 P-tuning v2 篇
      • 4.3.4.1 为什么需要P-tuning v2？
      • 4.3.4.2 P-tuning v2 是什么？
      • 4.3.4.3 P-tuning v2 有哪些优点？
      • 4.3.4.4 P-tuning v2 有哪些缺点？
    • 4.3.5 PPT 篇
      • 4.3.5.1 为什么需要PPT ？
      • 4.3.5.2 PPT 核心思想是什么？
      • 4.3.5.3 PPT 具体做法是怎么样？
      • 4.3.5.4 常用的soft prompt初始化方法？
      • 4.3.5.5 PPT 的优点是什么？
      • 4.3.5.6 PPT 的缺点是什么？
  • 4.4 提示学习（Prompting） 优点是什么？
  • 4.5 提示学习（Prompting） 本质是什么？
• 五、指令微调（Instruct-tuning）篇
  • 5.1 为什么需要指令微调（Instruct-tuning）？
  • 5.2 指令微调（Instruct-tuning）是什么？
  • 5.3 指令微调（Instruct-tuning）的优点是什么？
  • 5.4 指令微调（Instruct-tuning） vs 提升学习（Prompting）？
  • 5.5 指令微调（Instruct-tuning） vs 提升学习（Prompting） vs Fine-tuning？
• 六、指令提示微调（Instruct Prompt tuning）篇
  • 6.1 为什么需要指令微调（Instruct-tuning）？
  • 6.2 指令微调（Instruct-tuning） 是什么？
  • 6.3 指令微调（Instruct-tuning） 在不同任务上性能？
• 七、self-instruct篇
  • 7.1 什么是self-instruct？
• 八、Chain-of-Thought 篇
  • 8.1 为什么需要Chain-of-Thought ？
  • 8.2 什么是Chain-of-Thought ？
  • 8.3 Chain-of-Thought 的思路是怎么样的？
  • 8.4 Chain-of-Thought 的优点是什么？
  • 8.5 为什么chain-of-thought 会成功？
• 九、LoRA 篇
  • 9.1 LoRA 篇
    • 9.1.1 LoRA 核心思想是什么？
    • 9.1.2 LoRA 具体思路是什么？
    • 9.1.3 LoRA 优点是什么？
    • 9.1.4 LoRA 缺点是什么？
  • 9.2 AdaLoRA 篇
    • 9.2.1 AdaLoRA 核心思想是什么？
    • 9.2.2 AdaLoRA 实现思路是什么？
  • 9.3 DyLoRA 篇
    • 9.3.1 AdaLoRA 动机是什么？
    • 9.3.2 AdaLoRA 核心思想是什么？
    • 9.3.3 AdaLoRA 优点是什么？
• 十、BitFit 篇
  • 10.1 AdaLoRA 核心思想是什么？
  • 10.2 AdaLoRA 优点是什么？
  • 10.3 AdaLoRA 缺点是什么？

点击查看答案

七、LLMs 面试篇

7.1 【现在达模型LLM，微调方式有哪些？各有什么优缺点？

• 现在达模型LLM，微调方式有哪些？各有什么优缺点？

点击查看答案

7.2 GLM：ChatGLM的基座模型常见面试题

• GLM 的核心是什么？
• GLM 的模型架构是什么？
• GLM 如何进行多任务训练？
• 在进行NLG 时， GLM 如何保证生成长度的未知性？
• GLM 的多任务微调方式有什么差异？
• GLM 的多任务微调方式有什么优点？

点击查看答案

一、基础算法常见面试篇

• 过拟合和欠拟合常见面试篇
  • 一、过拟合和欠拟合是什么？
  • 二、过拟合/高方差（overfiting / high variance）篇
    • 2.1 过拟合是什么及检验方法？
    • 2.2 导致过拟合的原因是什么？
    • 2.3 过拟合的解决方法是什么？
  • 三、欠拟合/高偏差（underfiting / high bias）篇
    • 3.1 欠拟合是什么及检验方法？
    • 3.2 导致欠拟合的原因是什么？
    • 3.3 过拟合的解决方法是什么？

点击查看答案

• BatchNorm vs LayerNorm 常见面试篇
  • 一、动机篇
    • 1.1 独立同分布（independent and identically distributed）与白化
    • 1.2 （ Internal Covariate Shift，ICS）
    • 1.3 ICS问题带来的后果是什么？
  • 二、Normalization 篇
    • 2.1 Normalization 的通用框架与基本思想
  • 三、Batch Normalization 篇
    • 3.1 Batch Normalization（纵向规范化）是什么？
    • 3.2 Batch Normalization（纵向规范化）存在什么问题？
    • 3.3 Batch Normalization（纵向规范化）适用的场景是什么？
    • 3.4 BatchNorm 存在什么问题？
  • 四、Layer Normalization（横向规范化） 篇
    • 4.1 Layer Normalization（横向规范化）是什么？
    • 4.2 Layer Normalization（横向规范化）有什么用？
  • 五、BN vs LN 篇
  • 六、主流Normalization 方法为什么有效？

点击查看答案

• 激活函数常见面试篇

  • 一、动机篇
    • 1.1 为什么要有激活函数？
  • 二、激活函数介绍篇
    • 2.1 sigmoid 函数篇
      • 2.1.1 什么是sigmoid 函数？
      • 2.1.2 为什么选sigmoid 函数作为激活函数？
      • 2.1.3 sigmoid 函数有什么缺点？
    • 2.2 tanh 函数篇
      • 2.2.1 什么是tanh 函数？
      • 2.2.2 为什么选tanh 函数作为激活函数？
      • 2.2.3 tanh 函数有什么缺点？
    • 2.3 relu 函数篇
      • 2.3.1 什么是relu 函数？
      • 2.3.2 为什么选relu 函数作为激活函数？
      • 2.3.3 relu 函数有什么缺点？
  • 三、激活函数选择篇

• 正则化常见面试篇

  • 一、L0，L1，L2正则化篇
    • 1.1 正则化是什么？
    • 1.2 什么是L0 正则化？
    • 1.3 什么是L1 （稀疏规则算子Lasso regularization）正则化？
    • 1.4 什么是L2 正则化（岭回归Ridge Regression 或者权重衰减Weight Decay）正则化？
  • 二、对比篇
    • 2.1 什么是结构风险最小化？
    • 2.2 从结构风险最小化的角度理解L1和L2正则化
    • 2.3 L1 vs L2
  • 三、dropout 篇
    • 3.1 什么是dropout？
    • 3.2 dropout 在训练和测试过程中如何操作？
    • 3.3 dropout 如何防止过拟合?

点击查看答案

• 优化算法及函数常见面试篇
  • 一、动机篇
    • 1.1 为什么需要优化函数？
    • 1.2 优化函数的基本框架是什么?
  • 二、优化函数介绍篇
    • 2.1 梯度下降法是什么?
    • 2.2 随机梯度下降法是什么?
    • 2.3 Momentum 是什么?
    • 2.4 SGD with Nesterov Acceleration 是什么?
    • 2.5 Adagrad 是什么?
    • 2.6 RMSProp/AdaDelta 是什么？
    • 2.7 Adam 是什么?
    • 2.8 Nadam 是什么?
  • 三、优化函数学霸笔记篇

点击查看答案

• 归一化常见面试篇
  • 一、动机篇
    • 1.1 为什么要归一化？
  • 二、介绍篇
    • 2.1 归一化有哪些方法？
    • 2.2 归一化各方法特点？
    • 2.3 归一化的意义？
  • ثالثا. طلب
    • 3.1 哪些机器学习算法需要做归一化？
    • 3.2 哪些机器学习算法不需要做归一化？

点击查看答案

• 判别式（discriminative）模型vs. 生成式(generative)模型常见面试篇
  • 一、判别式模型篇
    • 1.1 什么是判别式模型？
    • 1.2 判别式模型是思路是什么？
    • 1.3 判别式模型的优点是什么？
  • 二、生成式模型篇
    • 2.1 什么是生成式模型？
    • 2.2 生成式模型是思路是什么？
    • 2.3 生成式模型的优点是什么？
    • 2.4 生成式模型的缺点是什么？

点击查看答案

二、机器学习算法篇常见面试篇

• 逻辑回归常见面试篇
  • 一、介绍篇
    • 1.1什么是逻辑回归
    • 1.2逻辑回归的优势
  • 二、推导篇
    • 2.1逻辑回归推导
    • 2.2求解优化

点击查看答案

• 支持向量机常见面试篇
  • 一、原理篇
    • 1.1 什么是SVM？
      • QA
    • 1.2 SVM怎么发展的？
    • 1.3 SVM存在什么问题？
      • QA
  • 二、算法篇
    • 2.1 什么是块算法？
    • 2.2 什么是分解算法？
    • 2.3 什么是序列最小优化算法？
    • 2.4 什么是增量算法？
      • QA
  • 三、其他SVM篇
    • 3.1 什么是最小二次支持向量机？
    • 3.2 什么是模糊支持向量机？
    • 3.3 什么是粒度支持向量机？
    • 3.4 什么是多类训练算法？
    • 3.5 什么是孪生支持向量机？
    • 3.6 什么是排序支持向量机？
      • QA
  • رابعا. طلب
    • 4.1 模式识别
    • 4.2 网页分类
    • 4.3 系统建模与系统辨识
    • 4.4 其他
  • 五、对比篇
  • 六、拓展篇

点击查看答案

• 集成学习常见面试篇
  • 一、动机
  • 二、集成学习介绍篇
    • 2.1 介绍篇
      • 2.1.1 集成学习的基本思想是什么？
      • 2.1.2 集成学习为什么有效？
  • 三、 Boosting 篇
    • 3.1 用一句话概括Boosting？
    • 3.2 Boosting 的特点是什么？
    • 3.3 Boosting 的基本思想是什么？
    • 3.4 Boosting 的特点是什么？
    • 3.5 GBDT 是什么？
    • 3.6 Xgboost 是什么？
  • 四、Bagging 篇
    • 4.1 用一句话概括Bagging？
    • 4.2 Bagging 的特点是什么？
    • 4.3 Bagging 的基本思想是什么？
    • 4.4 Bagging 的基分类器如何选择？
    • 4.5 Bagging 的优点是什么？
    • 4.6 Bagging 的特点是什么？
    • 4.7 随机森林是什么？
  • 五、 Stacking 篇
    • 5.1 用一句话概括Stacking ？
    • 5.2 Stacking 的特点是什么？
    • 5.3 Stacking 的基本思路是什么？
  • 六、常见问题篇
    • 6.1 为什么使用决策树作为基学习器？
    • 6.2 为什么不稳定的学习器更适合作为基学习器？
    • 6.3 哪些模型适合作为基学习器？
    • 6.4 Bagging 方法中能使用线性分类器作为基学习器吗？ Boosting 呢？
    • 6.5 Boosting/Bagging 与偏差/方差的关系？
  • 七、对比篇
    • 7.1 LR vs GBDT?

点击查看答案

九、【关于Python 】那些你不知道的事

• 【关于Python 】那些你不知道的事
  • 一、什么是*args 和**kwargs？
    • 1.1 为什么会有*args 和**kwargs？
    • 1.2 *args 和**kwargs 的用途是什么？
    • 1.3 *args 是什么？
    • 1.4 **kwargs是什么？
    • 1.5 *args 与**kwargs 的区别是什么？
  • 二、什么是装饰器？
    • 2.1 装饰器是什么？
    • 2.2 装饰器怎么用？
  • 三、Python垃圾回收（GC）
    • 3.1 垃圾回收算法有哪些？
    • 3.2 引用计数（主要）是什么？
    • 3.3 标记-清除是什么？
    • 3.4 分代回收是什么？
  • 四、python的sorted函数对字典按key排序和按value排序
    • 4.1 python 的sorted函数是什么？
    • 4.2 python 的sorted函数举例说明？
  • 五、直接赋值、浅拷贝和深度拷贝
    • 5.1 概念介绍
    • 5.2 介绍
    • 5.3 变量定义流程
    • 5.3 赋值
    • 5.4 浅拷贝
    • 5.5 深度拷贝
    • 5.6 核心：不可变对象类型and 可变对象类型
      • 5.6.1 不可变对象类型
      • 5.6.2 可变对象类型
  • 六、进程、线程、协程
    • 6.1 进程
      • 6.1.1 什么是进程？
      • 6.1.2 进程间如何通信？
    • 6.2 线程
      • 6.2.1 什么是线程？
      • 6.2.2 线程间如何通信？
    • 6.3 进程vs 线程
      • 6.3.1 区别
      • 6.3.2 应用场景
    • 6.4 协程
      • 6.4.1 什么是协程？
      • 6.4.2 协程的优点？
  • 七、全局解释器锁
    • 7.1 什么是全局解释器锁？
    • 7.2 GIL有什么作用？
    • 7.3 GIL有什么影响？
    • 7.4 如何避免GIL带来的影响？

十、【关于Tensorflow 】那些你不知道的事

• 【关于Tensorflow 损失函数】 那些你不知道的事
  • 一、动机
  • 二、什么是损失函数？
  • 三、目标函数、损失函数、代价函数之间的关系与区别？
  • 四、损失函数的类别
    • 4.1 回归模型的损失函数
      • （1）L1正则损失函数（即绝对值损失函数）
      • （2）L2正则损失函数（即欧拉损失函数）
      • （3）均方误差（MSE, mean squared error）
      • （4）Pseudo-Huber 损失函数
    • 4.2 分类模型的损失函数
      • （1）Hinge损失函数
      • （2）两类交叉熵（Cross-entropy）损失函数
      • （3）Sigmoid交叉熵损失函数
      • （4）加权交叉熵损失函数
      • （5）Softmax交叉熵损失函数
      • (6) SparseCategoricalCrossentropy vs sparse_categorical_crossentropy
  • 五、总结