LLMBook zh.github.io

نموذج لغة كبيرة

المؤلف: Zhao Xin ، Li Junyi ، Zhou Kun ، Tang Tianyi ، Wen Jirong

عن هذا الكتاب

في نهاية عام 2022 ، تم إطلاق Chatgpt بشكل مثير للصدمة ، وسرعان ما "اجتاحت" تقنية النموذج الكبير "المجتمع بأكمله" ، وقد دخلت تكنولوجيا الذكاء الاصطناعي في تقدم مهم. في مواجهة الأداء القوي لنماذج اللغة الكبيرة ، لا يسعنا إلا أن نسأل: ما هي بالضبط التكنولوجيا وراء هذه النماذج؟ أصبح هذا السؤال بلا شك محور التفكير للعديد من الباحثين العلميين. يجب الإشارة إلى أن تقنية النماذج الكبيرة لا تتحقق بين عشية وضحاها. شهد تاريخ تطويره على التوالي مراحل تطوير متعددة مثل نماذج اللغة الإحصائية ونماذج لغة الشبكة العصبية ونماذج اللغة التي تم تدريبها مسبقًا. قامت كل خطوة من خطوات التطوير بتكثيف جهود وإنجازات العديد من الباحثين العلميين. بصفته مروجًا مهمًا لتكنولوجيا نموذج اللغة الكبيرة ، استكشف Openai عددًا كبيرًا من التفاصيل الفنية المتعلقة بها في الماضي وأخيراً أطلقت سلسلة GPT من النماذج ، مما أدى إلى هذا التغيير التكنولوجي.

ومع ذلك ، منذ GPT-3 ، نادراً ما ذكر فريق Openai التفاصيل الفنية ذات الصلة في المواد العامة ، والعديد من التقارير الفنية تقدم بشكل أساسي المحتوى المتعلق بالمراجعة. حتى الآن ، لا يزال من الصعب فك تشفير التكنولوجيا الأساسية حول نموذج سلسلة GPT. في الوقت الحاضر ، فإن التحدي الرئيسي الذي يواجه المجتمع الأكاديمي هو أن هناك عدد قليل جدًا من الفرق التي لديها موارد كافية لاستكشاف تدريبات نموذجية كبيرة بشكل كامل ، مما يؤدي إلى عدم وجود خبرة مباشرة وصعوبة في إجراء البحوث ذات الصلة مباشرة. يتضمن التدريب النموذجي الكبير العديد من تفاصيل التدريب ، والتي لا يتم الحصول عليها مباشرة من أوراق البحث العلمي القائمة. نظرًا للعديد من المعلمات والمكونات المعقدة وعملية التدريب المعقدة نسبيًا ، قد تؤدي الاستكشافات التجريبية المبكرة إلى زيادة كبيرة في عدد التجارب إذا لم يتم تقديم معرفة سابقة. هذا يجعل من الصعب بشكل خاص إتقان تجربة التكنولوجيا النموذجية الكبيرة ، ناهيك عن استكشاف قضايا البحث العلمي ذات الصلة من نقطة الصفر ، مما يحد بشكل كبير من الدور الذي يلعبه المجتمع الأكاديمي في هذه الموجة الاصطناعية. في الوقت الحاضر ، يتم اشتقاق نماذج اللغة الكبيرة ذات القدرات القوية من الصناعة ، وقد يصبح هذا الاتجاه أكثر وضوحًا بمرور الوقت. "المعرفة" مهمة للغاية للباحثين العلميين من التجربة المباشرة. فقط من خلال التعرف على جوهر التكنولوجيا ، يمكننا أن نفهم حقًا المشكلات ذات مغزى وإيجاد حلول.

إنه لمن دواعي سرورنا أن الناس قد أدركوا تدريجياً أهمية "الانفتاح" في كل من الأوساط الأكاديمية والصناعة ، ويمكنهم رؤية المزيد والمزيد من النماذج الأساسية العامة والرموز الفنية والأوراق الأكاديمية ، والتي عززت بشكل فعال "شفافية" التكنولوجيا النموذجية الكبيرة. فقط من خلال الانفتاح والمشاركة ، يمكننا جمع حكمة جمعية البشرية والترويج بشكل مشترك لتطوير تكنولوجيا الذكاء الاصطناعي. في الواقع ، وفقًا للمعلومات العامة الحالية ، فإن تقنية النماذج الكبيرة هي أيضًا "مع قواعد متابعة" ، مثل عملية التدريب الشاملة ، وطرق تنظيف البيانات ، وتكنولوجيا التهمة ، وتكنولوجيا التفضيلات البشرية ، وخوارزميات تفضيل الإنسان ، وما إلى ذلك ، وفقًا لهذه التقنيات ، مع دعم موارد الحوسبة ، تمكن موظفو البحث والتطوير من إكمال عملية التدريب الشاملة للنموذج الكبير بسلاسة نسبيًا وتحقيق نتائج النموذج الجيد. من خلال الكشف عن المزيد من التقنيات الأساسية وفتحها ، سيتم تحسين "شفافية" تكنولوجيا النماذج الكبيرة.

باختصار ، تقع تقنية النموذج الكبيرة في مرحلة من التطور السريع ، ويجب استكشاف المبادئ الأساسية ويجب تحسين التقنيات الرئيسية. بالنسبة للباحثين العلميين ، فإن أعمال البحث النموذجية الكبيرة مليئة بالخيال والرائع. من خلال التقدم المستمر ومشاركة وفتح التكنولوجيا ، لدينا سبب للاعتقاد بأن تكنولوجيا الذكاء الاصطناعي ستحقق تقدمًا أكبر في المستقبل وستكون لها تأثير أكثر عمقًا في المزيد من المجالات. يهدف هذا الكتاب إلى تزويد القراء بفهم شامل لتكنولوجيا النموذج الكبير ، بما في ذلك مبادئه الأساسية والتقنيات الرئيسية وآفاق التطبيق. من خلال البحث والممارسة المتعمقة ، يمكننا باستمرار استكشاف وتحسين تكنولوجيا النموذج على نطاق واسع والمساهمة في تطوير مجال الذكاء الاصطناعي. نأمل أن يتمكن القراء من فهم الوضع الحالي والاتجاهات المستقبلية لتكنولوجيا النموذج الكبير من خلال قراءة هذا الكتاب ، وتوفير التوجيه والإلهام لبحثهم وممارستهم. دعنا نعمل معًا لتعزيز تطوير تكنولوجيا الذكاء الاصطناعي والمساهمة في بناء مستقبل أكثر ذكاءً وأكثر استدامة.

محتويات هذا الكتاب

تنزيل عنوان

محتوى الكتاب : "نموذج اللغة الكبيرة" (تم تحديثه 2024-04-15)

• في نهاية ديسمبر 2023 ، من أجل توفير مواد مرجعية صينية بشكل أفضل لتكنولوجيا النماذج على نطاق واسع ، بدأنا إعداد الكتب الصينية وأكملنا المسودة الأولى مؤخرًا. تركز النسخة الصينية من الكتاب على تقديم تفسيرات للقراء التمهيدي لتكنولوجيا النموذج الكبير ، وتسعى جاهدة لإظهار إطار عمل تقنية النموذج الكبير وخريطة الطريق. هذا الكتاب مناسب لكبار الطلاب الجامعيين وخريجي المبتدئين الذين لديهم أساس في التعلم العميق ويمكن استخدامه ككتاب فني للمبتدئين.
• تنزيل الرابط 1 ، تنزيل الرابط 2

ورقة مراجعة اللغة الإنجليزية : llmsurvey

• من أجل تنظيم ونشر أحدث التقدم والنظام الفني لتكنولوجيا النماذج الكبيرة ، قمنا بنشر مقالة مراجعة حول اللغة الإنجليزية لنموذج اللغة الكبير "دراسة لنماذج اللغة الكبيرة" في مارس 2023 ، وقمنا بتحديثها وتحسينها بشكل مستمر. تم تحديث مقالة المراجعة هذه إلى الإصدار الثالث عشر ، والتي تحتوي على 83 صفحة من المحتوى الرئيسي ، وشملت أكثر من 900 مرجع.
• منذ إطلاق مقالة مراجعة اللغة الإنجليزية ، سأل القراء عما إذا كانت هناك نسخة صينية مماثلة. للقيام بذلك ، أصدرنا نسخة ترجمة صينية من المراجعة (V10) في أغسطس 2023.

دعم الموارد

LLMBOX : مكتبة الكود

• LLMBox هي مكتبة شاملة لأدوات التعليمات البرمجية مخصصة لتطوير وتنفيذ نماذج لغة كبيرة ، استنادًا إلى عملية تدريب موحدة وإطار تقييم شامل لتقييم النماذج. تم تصميم LLMBox ليكون حلًا واحدًا للتدريب واستخدام نماذج اللغة الكبيرة. يدمج عددًا كبيرًا من الوظائف العملية داخليًا لتحقيق درجة عالية من المرونة والكفاءة في مراحل التدريب والاستخدام.

Mockup Yulan : Code Library

• نماذج سلسلة Yulan هي نموذج لغوي كبير يدعم الدردشة التي طورها المعلمين وطلاب كلية Hillhouse للذكاء الاصطناعي بجامعة Renmin الصينية (اسم "Magnolia" مأخوذ من زهرة جامعة Renmin في الصين). يكمل الإصدار الأخير عملية ما قبل التدريب بأكملها من نقطة الصفر ويستخدم تقنيات تعلم المناهج الدراسية للضبط الخاضع للإشراف استنادًا إلى البيانات الصينية والإنجليزية ، بما في ذلك التعليمات عالية الجودة وبيانات التفضيلات البشرية.

منظمة الفصل

اقتباس المعلومات

赵鑫,李军毅,周昆,唐天一,文继荣，大语言模型，https://llmbook-zh.github.io/，2024.

 @book{LLMBook,
  title = {大语言模型},
  year = {2024},
  author = {赵鑫, 李军毅, 周昆, 唐天一, 文继荣},
  address = {北京},
  url = {https://llmbook-zh.github.io/},
}

جدول مساهمة المحتوى

قائمة الأشخاص والمشاركين المسؤولين الرئيسيين في كل فصل من هذا الكتاب هي كما يلي:

• الشخص المسؤول عن الفصل 3 هو Min Yingqian و Yang Chen ، والمشاركين هم Li Junyi و Zhou Kun ؛
• الشخص المسؤول عن الفصل 4 هو Zhang Junjie و Hou Yupeng و Zhou Kun ؛
• الشخص المسؤول عن الفصل 5 هو Dong Zican ، والمشاركين هم Tian Zhen و Tang Tianyi ؛
• الشخص المسؤول عن الفصل 6 هو Tang Tianyi و Chen Yushuo ؛
• الشخص المسؤول عن الفصل 7 هو Tang Tianyi ، والمشاركين هم Cheng Xiaoxue ؛
• الشخص المسؤول عن الفصل الثامن هو لي جونيك وتشن زيثرنغ ؛
• الشخص المسؤول عن الفصل 9 هو تشن يوشو وليو بييو وتانغ تياني ، والمشاركين هم تشو كون ؛
• الشخص المسؤول عن الفصل 10 هو Li Junyi و Tang Xinyu و Du Yifan ، والمشاركين هم Wang Xiaolei ؛
• الشخص المسؤول عن الفصل 11 هو رن رويانغ وجيانغ جيناو ، والمشاركين هم لي جوني.
• الشخص المسؤول عن الفصل 12 هو تشانغ بيتشن وتشو كون ، والمشاركين هم Zhang Gaowei ؛
• الشخص المسؤول عن الفصل 13 هو Zhou Kun ، ويشمل المشاركون (مرتبة Pinyin) Jiang Jinhao و Li Yifan و Liu Zikang و Sun Wenqi و Wang Yuqing و Xu Lanling و Yang Jinxia و Zheng Bowen.

أيضًا ، بفضل الطلاب الآخرين الذين شاركوا في تجميع هذا الكتاب وتصحيحه. إنهم (مرتبة من قبل Pinyin) هم Cao Qian و Cao Zhanshuo و Chen Jie و Cheng Jiyyaqi و Dai Tunhao و Deng Xin و Ding Yijie و Feng Xueyang و Gao Zefeng و Gou Zhibin و Gu Zihui و Guo Geyang و Hou Dongnan و Hou Xinming و Hu Yiwen و Li Bingsqian ، Chengyuan ، Li Ging-Yuan ، Liu Enze ، Liu Jiongnan ، Liu Zihan ، Luo Wenyang ، Mei Lang ، Ou Keshan ، Peng Han ، Ruan Kai ، Su Weihang ، Sun Yiding ، Tang Yiru ، Wang Jiap ، Wang Lei ، Wang anting ، Yao Feng ، تشانغ ليانغ ، تشو تيانيو وتشو يوتاو.

خلال عملية الكتابة ، تم دعم هذا الكتاب من خلال الحوسبة الموارد من منصة مشاركة الأدوات العلمية على نطاق واسع في جامعة رينمين في الصين. أود أن أعرب عن خالص شكري للمعلمين الثلاثة تشن يويغو ولو ويزنج وشي يوان.

يتم إنشاء صورة غلاف هذا الكتاب بواسطة أدوات الذكاء الاصطناعي ويتم إنتاجها بواسطة Xu Lanling.

تعليق

في عملية إعداد الكتب الصينية ، نقرأ على نطاق واسع الأوراق الكلاسيكية الحالية والرموز والكتب المدرسية والمفاهيم الأساسية المستخرجة والخوارزميات والنماذج السائدة ، وقدمها بشكل منهجي. لقد قمنا بمراجعة المسودة الأولى لكل فصل عدة مرات ، وسعتقينا لتوضيح التعبيرات الدقيقة. ومع ذلك ، أثناء عملية الكتابة ، نشعر بعمق بالقيود على قدراتنا ومعرفتنا. على الرغم من أننا بذلنا جهودًا كبيرة ، إلا أنه سيكون هناك حتامًا أو نقاط غير لائقة. الطبعة الأولى من هذا الكتاب ليست سوى نقطة انطلاق. نخطط لمواصلة تحديث المحتوى وتحسينه عبر الإنترنت ، ونرحب بشكل خاص بالقراء لتقديم انتقادات واقتراحات قيمة. سنقدم أيضًا الشكر للقراء الذين يقدمون اقتراحات قيمة على الموقع في نفس الوقت. نحن نعتبر عملية كتابة هذا الكتاب على أنها عملية تعليمية خاصة بنا ، ونأمل أيضًا في التواصل المتعمق مع القراء من خلال هذا الكتاب والتعلم من المزيد من أقران الصناعة.

إذا كان لديك أي تعليقات وتعليقات واقتراحات (تأكد أولاً مما إذا كان قد تم تصحيح الإصدار الأخير) ، فيرجى تقديم ملاحظات من خلال صفحة مشكلات Github ، أو إرسالها بالبريد الإلكتروني إلى عنوان البريد الإلكتروني للمؤلف Batmanfly على QQ.com ، lijunyi في Ruc.edu.cn ، francis_kun_zhou على roc.edu.cn ، stevenianyitang في Outlocklook.com .