neuromancer

Neuromancer v1.5.2

الوحدات العصبية ذات القيود غير الخطية التكيفية والتنظيم الفعال (Neuromancer) هي مكتبة برمجة قابلة للتفاضلة (DP) مفتوحة المصدر (DP) لحل مشاكل التحسين المقيدة للبرامترية ، وتحديد النظام المستنير في الفيزياء ، والتحكم الأمثل القائم على النموذج البارامتريك. تتم كتابة Neuromancer في Pytorch ويسمح بالتكامل المنهجي للتعلم الآلي مع الحوسبة العلمية لإنشاء نماذج وخوارزميات قابلة للتمييز شاملة إلى جانب المعرفة والفيزياء السابقة.

---

جدول المحتويات

1. ملخص
2. الميزات الرئيسية
3. ما الجديد في v1.5.2
4. تثبيت
5. ابدء
6. دروس
7. وثائق وأدلة المستخدم

---

الميزات الرئيسية

• تعلم النموذج ، وتعلم التحكم ، وتعلم التحسين : تم تصميم مكتبتنا لتزويد المستخدمين النهائيين بالعديد من الأدوات لحل التعلم لتحسين (L2O) ، وتعلم النموذج (L2M) ، وتعلم مهام التحكم (L2C). معالجة التحسين المتقدم المتقدم للبرامت ، أو ديناميات السوائل النموذجية باستخدام الشبكات العصبية المستنيرة للفيزياء ، أو تعلم كيفية التحكم في درجة حرارة الهواء الداخلي في المباني لزيادة كفاءة البناء.
• واجهة البرمجة الرمزية تجعل من السهل جدًا تحديد المعرفة السابقة المسبقة للفيزياء ومعرفة المجال والقيود في نماذج التعلم هذه.
• أدوات تعليمية شاملة : الوصول إلى مجموعة واسعة من البرامج التعليمية والتطبيقات على سبيل المثال-من تحديد النظام الأساسي إلى التحكم التنبئي المتقدم-من السهل على المستخدمين تعلم وتطبيق المشروع العصبي على مشاكل العالم الحقيقي.
• الأساليب الحديثة : تم تحديث Neuromancer مع أساليب SOTA مثل شبكات Kolgomorov-Arnold (KANS) لتقريب الوظيفة ، والمعادلات التفاضلية العادية العصبية (العقد) والتعرف المفروض على التعلم من التعلم إلى التحديد إلى الأمم المتحدة.

ما الجديد في v1.5.2

قدرات التنبؤ بالتحميل والمحولات

نحن نوسع أمثلة مجال أنظمة الطاقة لدينا مع التنبؤ بالحمل للمباني. نعرض استخدام نمذجة السلاسل الزمنية والتنبؤ باستخدام مجموعة بيانات التنبؤ بحمل الكهرباء على المدى القصير (دراسة حالة بنما). نوضح capaibilities التنبؤ باستخدام نموذج محول ، كتلة جديدة تضاف إلى blocks.py (العصبي) ، وكذلك الكتل القياسية الأخرى. نستخدم أيضًا بيانات الطقس التاريخية للمساعدة في التنبؤ بالطاقة.

شبكات كولغوموروف أرنولد المحدودة

اجتذبت شبكات Kolmogorov-Arnold (KANS) الانتباه مؤخرًا كبديل عن إدراكات متعددة الطبقات (MLPs) للتعلم الآلي العلمي. ومع ذلك ، يمكن أن يكون Kans مكلفًا للتدريب ، حتى بالنسبة للشبكات الصغيرة نسبيًا. لقد قمنا بتنفيذ كتلة FBKAN (FBPINNS) ، لطريقة تحلل المجال لـ KANS التي تسمح بتدريب العديد من Kans الصغيرة بالتوازي لإعطاء حلول دقيقة للمشاكل المتعددة.

أمثلة كولاب جديدة:

التنبؤ تحميل

تقريب الوظيفة مع شبكات Kolgomorov-Arnold

تثبيت

ببساطة الجري

 pip install neuromancer

للتثبيت اليدوي ، يرجى الرجوع إلى تعليمات التثبيت

ابدء

يمكن العثور على مجموعة واسعة من البرامج التعليمية في مجلد الأمثلة والبرامج التعليمية أدناه. تتوفر إصدارات دفاتر التفاعلية من الأمثلة على Google Colab! اختبر وظائف السرعة العصبية قبل استنساخ المستودع وإعداد بيئة.

تقدم دفاتر الملاحظات أدناه التجريدات الأساسية لمكتبة Neuromancer ، على وجه الخصوص ، واجهة البرمجة الرمزية لدينا وفئات العقدة.

المتغيرات الرمزية والعقد والقيود والأهداف والأنظمة فئات

• الجزء 1: الانحدار الخطي في Pytorch vs Neuromancer.

• الجزء 2: تعليمي بناء الجملة العصبي: المتغيرات والقيود والأهداف.

• الجزء 3: تعليمي بناء الجملة العصبية: الوحدات النمطية والعقدة وفئة النظام.

مثال

مثال سريع على كيفية حل مشكلة التحسين المقيدة المقيدة للبرامترية باستخدام Neuromancer ، والاستفادة من واجهة البرمجة الرمزية لدينا ، والعقدة والمتغير ، والكتل ، والمكتبة النحيفة ، وفئات Penaltyloss.

 # Neuromancer syntax example for constrained optimization
import neuromancer as nm
import torch 

# define neural architecture 
func = nm . modules . blocks . MLP ( insize = 1 , outsize = 2 , 
                             linear_map = nm . slim . maps [ 'linear' ], 
                             nonlin = torch . nn . ReLU , hsizes = [ 80 ] * 4 )
# wrap neural net into symbolic representation via the Node class: map(p) -> x
map = nm . system . Node ( func , [ 'p' ], [ 'x' ], name = 'map' )
    
# define decision variables
x = nm . constraint . variable ( "x" )[:, [ 0 ]]
y = nm . constraint . variable ( "x" )[:, [ 1 ]]
# problem parameters sampled in the dataset
p = nm . constraint . variable ( 'p' )

# define objective function
f = ( 1 - x ) ** 2 + ( y - x ** 2 ) ** 2
obj = f . minimize ( weight = 1.0 )

# define constraints
con_1 = 100. * ( x >= y )
con_2 = 100. * ( x ** 2 + y ** 2 <= p ** 2 )

# create penalty method-based loss function
loss = nm . loss . PenaltyLoss ( objectives = [ obj ], constraints = [ con_1 , con_2 ])
# construct differentiable constrained optimization problem
problem = nm . problem . Problem ( nodes = [ map ], loss = loss )

أمثلة المجال

تم تصميم Neuromancer لمعالجة مجموعة متنوعة من مشاكل النمذجة والتحكم الخاصة بالمجال باستخدام مجموعة من الأساليب. نوضح هنا كيفية تصميم أنظمة طاقة البناء والتحكم فيها ، بالإضافة إلى تطبيق تقنيات التنبؤ بالحمل.

لمزيد من التغطية المتعمقة لأساليبنا ، يرجى الاطلاع على قسم الدروس العامة أدناه.

أنظمة الطاقة

• تعلم بناء الديناميات الحرارية باستخدام ODES العصبية
• شبكة مقاومة للديناميات الحرارية متعددة المناطق مع ODES العصبية
• تعلم ديناميات معادلة التأرجح باستخدام ODES العصبية
• تعلم التحكم في درجة حرارة الهواء الداخلي في المباني
• التنبؤ بحمل الطاقة لنظام مناولة الهواء لمبنى المكاتب مع نماذج MLP و CNN
• التنبؤ بحمل الطاقة للبناء مع نموذج المحولات
• تعلم السيطرة

دروس حول طرق النمذجة والتحسين والتحكم

تعلم تحسين (L2O) البرمجة البارامترية

يتيح لك Neuromancer صياغة وحل فئة واسعة من مشاكل التحسين البارامترية الاستفادة من التعلم الآلي لتعلم الحلول لمثل هذه المشكلات. مزيد من المعلومات حول البرمجة البارامترية

• الجزء 1: تعلم حل مشكلة التحسين المقيدة.

• الجزء 2: تعلم حل مشكلة التحسين المقيدة في التربيع.

• الجزء 3: تعلم حل مجموعة من مشاكل التحسين المقيدة ثنائية الأبعاد.

• الجزء 4: تعلم حل مشكلة التحسين المقيدة مع التدرج المتوقع.

• الجزء 5: استخدام cvxpylayers للإسقاط القابل للتمييز على مجموعة مجدية متعددة.

• الجزء 6: تعلم التحسين مع التعلم المتري لطبقات تقسيم المشغل.

تعلم التحكم (L2C)

يتيح لك Neuromancer تعلم سياسات التحكم من أجل الطيف الكامل للأنظمة الديناميكية البيضاء/الرمادية/السوداء/الصندوق الأسود ، مع مراعاة قيود الاختيار والوظائف الموضوعية. مزيد من المعلومات حول التحكم التنبئي التفاضلي

• الجزء 1: تعلم تثبيت نظام ديناميكي خطي.
• الجزء 2: تعلم تثبيت معادلة التفاضلية غير الخطية.
• الجزء 3: تعلم التحكم في معادلة التفاضلية غير الخطية.
• الجزء 4: تعلم نموذج القصيدة العصبية وسياسة التحكم لنظام ديناميكي غير معروف.
• الجزء 5: تعلم وظيفة Lyapunov العصبية لنظام ديناميكي غير خطي.

تقريب الوظيفة

Neuromancer محدثة مع أساليب أحدث. نعرض هنا شبكات Kolgomorov-Arnold Strong

• الجزء 1: مقارنة بين kans و fbkans في تعلم وظيفة متعددة المقاييس 1D مع الضوضاء
• الجزء 2: مقارنة بين kans و fbkans في تعلم وظيفة متعددة النطاقات ثنائية الأبعاد مع الضوضاء

المشغلين العصبيين

يسمح Neuromancer لأحدهم باستخدام التعلم الآلي ، والفيزياء السابقة ومعرفة المجال ، لبناء نماذج رياضية وتفاضلية للأنظمة الديناميكية بالنظر إلى الملاحظات المقاسة لسلوك النظام. مزيد من المعلومات حول معرف النظام عبر نماذج فضاء الحالة العصبية والخروج

• الجزء 1: المعادلات التفاضلية العادية العصبية (العقد)
• الجزء 2: تقدير المعلمة لنظام قصيدة
• الجزء 3: المعادلات التفاضلية العالمية (UDES)
• الجزء 4: العقد ذات المدخلات الخارجية
• الجزء 5: نماذج فضاء الحالة العصبية (NSSMS) مع مدخلات خارجية
• الجزء 6: النمذجة التي تعتمد على البيانات لمقاومة شبكات الشبكة (RC)
• الجزء 7: عامل كوبمان العميق
• الجزء 8: مشغل كوبمان العميق الموجهة نحو السيطرة
• الجزء 9: التعرف المتفرط للديناميات غير الخطية (Sindy)

الشبكات العصبية المستنيرة للفيزياء (Pinns)

تصميم البرمجة الرمزية لـ Neuromancer مناسب تمامًا لحل pinns. مزيد من المعلومات حول pinns

• الجزء 1: معادلة الانتشار
• الجزء 2: معادلة البرغر
• الجزء 3: معادلة البرغر مع تقدير المعلمة (مشكلة عكسية)
• الجزء 4: معادلة لابلاس (الحالة المستقرة)
• الجزء 5: البندول المغطى (Pinn مكدسة)
• الجزء 6: معادلة Navier-Stokes (تدفق التجويف الذي يحركه الغطاء ، الحالة المستقرة ، كان)

المعادلات التفاضلية العشوائية (SDEs)

تم دمج Neuromancer مع Torchsde للتعامل مع الأنظمة الديناميكية العشوائية. مزيد من المعلومات حول SDEs

• Latentsdes: "تحديد النظام" للعمليات العشوائية باستخدام Neuromancer X Torchsde

قابلية التوسع والتخصيص

Pytorch Lightning تكامل

قمنا بدمج Lightning Pytorch لتبسيط الكود ، وتمكين منطق التدريب المخصص ، ودعم GPU وإعدادات GPU متعددة ، والتعامل مع مهام التعلم على نطاق واسع ، كثيفة الذاكرة.

• الجزء 1: أساسيات تكامل البرق.
• الجزء 2: ميزات Lightning المتقدمة ودعم GPU التلقائي.
• الجزء 4: تحديد منطق التدريب المخصص عبر الكود المعياري للبرق.

وثائق وأدلة المستخدم

يمكن العثور على وثائق المكتبة عبر الإنترنت. يوجد أيضًا مقطع فيديو مقدمة يغطي الميزات الأساسية للمكتبة.

لمزيد من المعلومات ، بما في ذلك تلك الخاصة بالمطورين ، يرجى الانتقال إلى دليل المطورين والمستخدمين لدينا

معلومات المجتمع

نرحب بالمساهمات والتعليقات من مجتمع المصدر المفتوح!

المساهمات والمناقشات والقضايا

يرجى قراءة إرشادات تطوير المجتمع لمزيد من المعلومات حول المساهمات والمناقشات والقضايا.

ملاحظات الإصدار

راجع ملاحظات الإصدار التي توثق ميزات جديدة.

رخصة

يأتي Neuromancer مع ترخيص BSD. انظر الترخيص لمزيد من التفاصيل.

المنشورات

• Bo Tang ، Elias B. Khalil ، Ján Drgoňa ، تعلم التحسين للبرمجة المختلطة غير الخطية ، Arxiv: 2410.11061 ، 2024
• John Viljoen ، Wenceslao Shaw Cortez ، Jan Drgona ، Sebastian East ، Masayoshi Tomizuka ، Draguna Vrabie ، التحكم التنبئي المتميز للروبوتات: مقاربة مرشح أمان تنبؤية تعتمد على البيانات ، Arxiv: 2409.13817 ، 2024
• Jan Drgona ، Aaron Tuor ، Draguna Vrabie ، Learning Compated Parametric سياسات التحكم التنبؤية القابلة للتمييز مع الضمانات ، ومعاملات IEEE على الأنظمة ، والرجل ، وعلم الإنترنت: الأنظمة ، 2024
• Renukanandan Tumu ، Wenceslao Shaw Cortez ، Ján Drgoňa ، Draguna L. Vrabie ، Sonja Glavaski ، التحكم التنبئي المتميز لشبكات الطرق الحضرية الكبيرة ، Arxiv: 2406.10433 ، 2024
• إيثان كينج ، جيمس كوتاري ، فرديناندو فيوريتو ، جان درغونا ، التعلم المتري لتسريع التقارب بين طرق تقسيم المشغل للبرمجة البارامترية القابلة للتمييز ، Arxiv: 2404.00882 ، 2024
• جيمس كوخ ، مادلين شابيرو ، هيمانشو شارما ، دراجونا فرابي ، جان درغونا ، معادلات الجبرية التفاضلية العصبية ، Arxiv: 2403.12938 ، 2024
• Wenceslao Shaw Cortez ، Jan Drgona ، Draguna Vrabie ، Mahantesh Halappanavar ، مرشح أمان تنبؤي قوي وفعال ، Arxiv: 2311.08496 ، 2024
• Shrirang Abhyankar ، Jan Drgona ، Andrew August ، Elliott Skomski ، Aaron Tuor ، نمذجة الحمل الديناميكية العصبية الفيزيائية باستخدام تحسين حدودي قابل للتمييز ، 2023 IEEE Power & Energy Society (PESGM) ، 2023
• جيمس كوخ ، تشاو تشن ، آرون تور ، جان درغونا ، دراجونا فرابي ، الاستدلال الهيكلي للأنظمة الديناميكية الشبكية ذات المعادلات التفاضلية العالمية ، Arxiv: 2207.04962 ، (2022)
• Ján Drgoňa ، Sayak Mukherjee ، Aaron Tuor ، Mahantesh Halappanavar ، Draguna Vrabie ، Learning Stochastic Parametric Diversive Control Conference ، Ifac Rocond Conference (2022)
• Sayak Mukherjee ، Ján Drgoňa ، Aaron Tuor ، Mahantesh Halappanavar ، Draguna Vrabie ، Neural Lyapunov Diversive Devancial Control ، IEEE Conference on Decision and Control Conference 2022
• Wenceslao Shaw Cortez ، Jan Drgona ، Aaron Tuor ، Mahantesh Halappanavar ، Draguna Vrabie ، مراقبة تنبؤية قابلة للتمييز مع ضمانات السلامة: نهج وظيفة حاجز التحكم ، مؤتمر IEEE حول القرار والسيطرة 2022
• إيثان كينج ، جان درغونا ، آرون تور ، شريانج أبهيانكار ، كريج بكر ، أرناب بهاتشاريا ، دراجونا فرابي ، السيطرة التنبؤية القابلة للتمييز في كوبمان لمشكلة الإرسال الاقتصادية المدركة للديناميات ، 2022 مؤتمر السيطرة الأمريكي (ACC)
• Drgoňa ، J. ، Tuor ، AR ، Chandan ، V. ، & Vrabie ، DL ، التعلم العميق المقيد بالفيزياء للديناميات الحرارية متعددة المناطق. الطاقة والمباني ، 243 ، 110992 ، (2021)
• E. Skomski ، S. Vasisht ، C. Wight ، A. Tuor ، J. Drgoňa and D. Vrabie ، "Block Block National Neural Dymanical Models ،" 2021 American Control Conference (ACC) ، 2021 ، pp.
• Skomski ، E. ، Drgoňa ، J. ، & Tuor ، A. (2021 ، May). أتمتة اكتشاف نماذج فضاء الحالة العصبية المستنيرة فيزياء عبر التعلم والتطور. في التعلم للديناميات والتحكم (ص. 980-991). PMLR.
• Drgoňa ، J. ، Tuor ، A. ، Skomski ، E. ، Vasisht ، S. ، & Vrabie ، D. (2021). التعلم العميق قوانين التحكم التنبؤية الصريحة للمباني. Ifac-Papersonline ، 54 (6) ، 14-19.
• Tuor ، A. ، Drgona ، J. ، & Vrabie ، D. (2020). المعادلات التفاضلية العصبية المقيدة مع ضمانات الاستقرار. Arxiv preprint Arxiv: 2004.10883.
• Drgona ، Jan ، et al. "التحكم التنبئي قابل للتمييز: بديل MPC للأنظمة غير الخطية غير المعروفة باستخدام التعلم العميق المقيد." مجلة التحكم في المجلد 116 ، أغسطس 2022 ، الصفحات 80-92
• Drgona ، J. ، Skomski ، E. ، Vasisht ، S. ، Tuor ، A. ، & Vrabie ، D. (2020). الأنظمة الديناميكية العصبية العميقة ، في IEEE Open Journal of Control Systems ، المجلد. 1 ، ص. 100-112 ، 2022
• Drgona ، J. ، Tuor ، A. ، & Vrabie ، D.

استشهد باسم

 @article{Neuromancer2023,
  title={{NeuroMANCER : Neural Modules with Adaptive Nonlinear Constraints and Efficient Regularizations}},
  author={Drgona, Jan and Tuor, Aaron and Koch, James and Shapiro, Madelyn and Jacob, Bruno and Vrabie, Draguna},
  Url= {https://github.com/pnnl/neuromancer}, 
  year={2023}
} 

فريق التنمية

المطورين الأساسيون النشطون : جان درغونا ، راهول بيرميوال ، برونو يعقوب
المساهمون البارزين : آرون تور ، مادلين شابيرو ، جيمس كوتش ، سيث بريني ، بو تانغ ، إيثان كينج ، إليوت سكومسكي ، تشاو تشن ، كريستيان مولد ليغارد
المستشارون العلميون : دراجونا فراابي ، بانوس ستينيس

مساهمات مفتوحة المصدر قدمها:

صنعت مع contrib.rocks.

شكر وتقدير

تم دعم هذا البحث جزئيًا من قبل الرياضيات من أجل التفكير الاصطناعي في العلوم (MARS) ومبادرات التقارب النموذجية (DMC) عبر الاستثمارات في مجال الأبحاث والتطوير الموجه (LDRD) في Pacific Northwest National Systems (PNNL) ، من خلال إدارة الطاقة المتجددة في مجال الطاقة المتجددة (DNC2 ". طاقة ، مكتب تقنيات البناء في إطار "إزالة الكربون الديناميكي من خلال التعلم العميق المتمحور حول الفيزياء المتمحورة حول الفيزياء وتحسين عمليات البناء" و "تقدم إدارة الطاقة الجاهزة للسوق عن طريق التحكم التنبؤي الفعال من حيث التكلفة". تم دعم هذا المشروع أيضًا من وزارة الطاقة الأمريكية ، وهو برنامج أبحاث الحوسبة العلمية المتقدمة ، بموجب القياس الكمي لمشروع تعليم مشغل متعددة (MOLUCQ) (المشروع رقم 81739). PNNL هو مختبر وطني متعدد البرامج يتم تشغيله لوزارة الطاقة الأمريكية (DOE) من قبل معهد Battelle التذكاري بموجب العقد رقم DE-AC05-76RL0-1830.