ccws

حالة CI

مقدمة

CCWS هي بيئة تطوير لـ ROS ، والتي تدمج وظائف مساحات عمل catkin التقليدية وخطوط أنابيب CI من أجل تسهيل التجميع (المتقاطع) ، والاختبار ، والبطانة ، وتوليد الحزمة الثنائية. يهدف إلى استخدام العمود الفقري CI/CD وبيئة عمل للمطورين. لاحظ أن CCWS ليس المقصود أن يكون حلاً كاملاً ، بل أساسًا لتطوير سير عمل محدد للبائع.

CCWS هو إصدار ROS Ad Attostic ، ويجب أن تعمل في معظم الحالات لكل من ROS1 و ROS2.

سمات

• ملفات التعريف - مجموعات من التكوينات لعملية الإنشاء ، على سبيل المثال ، CMAKE Toolchain ، تكوين Colcon ، متغيرات البيئة ، إلخ. لا تتعارض ملفات التعريف مع بعضها البعض ويمكن استخدامها بالتوازي دون استخدام استنساخ منفصل من مساحة العمل والحزم.

• ملفات تعريف التنفيذ - Mixins Simple Shell التي تهدف إلى تعديل بيئة وقت التشغيل ، على سبيل المثال ، تنفيذ العقد في valgrind ، ومعالجة تعطل العقدة ، وما إلى ذلك.

• عدد من الميزات التي تم تنفيذها عبر ملفات تعريف البناء:

  • تجميع متقاطع للعديد من المنصات الشائعة.

  • توليد الوثائق لمساحة العمل بأكملها أو الحزم المحددة باستخدام doxygen ، على غرار https://github.com/mikepurvis/catkin_tools_document.

  • يرتدي مع clang-tidy و scan_build .

  • الشيكات الثابتة المختلفة كما في https://github.com/sscpac/statick ، ​​على وجه الخصوص:

    • cppcheck
    • catkin_lint https://github.com/fkie/catkin_lint
    • yamllint
    • shellcheck

  • جيل حزمة ديبيان الثنائية.

• قالب الحزمة الذي يوضح كيفية استخدام بعض الميزات.

• يمكن اختيار عدد الوظائف المتوازية بناءً على ذاكرة الوصول العشوائي المتاحة بدلاً من مراكز وحدة المعالجة المركزية ، حيث من المحتمل أن يكون ذاكرة الوصول العشوائي هو العامل المقيد.

• استنادا تماما على البرامج النصية make والقذيفة. يتم الاحتفاظ بجميع البرامج النصية والتكوينات في مساحة العمل ويسهل ضبطها لتلبية الاحتياجات المحددة.

بناء ملفات تعريف

توجد تكوينات الملف الشخصي في ccws/profiles/build ، يحتوي الدليل الفرعي common على معلمات افتراضية ، والتي يمكن تجاوزها بواسطة ملفات تعريف محددة:

• [افتراضي] reldebug - برنامج التحويل البرمجي الافتراضي ، نوع بناء cmake هو RelWithDebInfo
• scan_build فحص ثابت مع scan_build و clang-tidy . يتم تعريف معلمات clang-tidy في CMake Toolchain ويجب تمكينها في الحزم كما هو موضح في قالب الحزمة CMakeLists . يستخدم هذا الملف الشخصي أيضًا برنامج التحويل البرمجي clang .
• thread_sanitizer - تجميع مع مطهر الموضوع.
• addr_undef_sanitizers - تجميع مع العنوان ومطهرات السلوك غير المحددة.
• static_checks - الداما الثابتة وتكوينها.
• doxygen - Doxygen وتكوينه.
• cross_raspberry_pi التوت المتبادل للتوت.
• cross_jetson_xavier -cross-compilation for Jetson Xavier.
• cross_jetson_nano -Cross-Compilation for Jetson Nano.
• clangd - يجمع أوامر التجميع لـ BASE_BUILD_PROFILE وإنشاء ملف تكوين clangd في جذر مساحة العمل.
• deb - جيل حزم دبيان (انظر أدناه).

ملفات تعريف التنفيذ

ملفات تعريف التنفيذ تعيين متغيرات البيئة التي يمكن استخدامها في البرامج النصية لإطلاق لتغيير سلوك وقت التشغيل كما هو موضح في ccws/pkg_template/catkin/launch/bringup.launch ، الملامح المتاحة حاليًا هي:

• common - مجموعة من معلمات ROS الشائعة ، على سبيل المثال ، ROS_HOME ، يتم تضمينها تلقائيًا في الحزم الثنائية.
• test - يضبط متغير CCWS_NODE_CRASH_ACTION بحيث يكون العقد التي تحترمها required ، أي أن إنهاء هذه العقد سيؤدي إلى تصادم نصوص الاختبار وبالتالي يمكن اكتشافه بسهولة.
• valgrind - يقوم بتعيين CCWS_NODE_LAUNCH_PREFIX على valgrind وبعض المتغيرات التي تتحكم في سلوك valgrind .
• core_pattern - يعين النمط الأساسي لحفظ الملفات الأساسية في دليل القطع الأثرية.
• address_sanitizer - مساعد ملف تعريف addr_undef_sanitizers .

لا تؤثر ملفات تعريف التنفيذ على عملية الإنشاء ويتم أخذها في الاعتبار في *test* الأهداف أو حزم Debian. يتم استخدام ملف تعريف تنفيذ test دائمًا في الاختبارات ، ويمكن توفير ملفات تعريف إضافية باستخدام EXEC_PROFILE="<profile1> <profile2>" . هذه الأهداف ملفات تعريف تحميل باستخدام برنامج setup.bash الموجود في المجلد الجذري لـ CCWS ، والذي يمكن أيضًا استخدامه يدويًا ، على سبيل المثال ، source setup.bash [<build_profile> [<exec_profile1> ...]] . لاحظ أن البرنامج النصي SETUP يتضمن دائمًا ملف تعريف common ، ويستخدم ملف تعريف تنفيذ test إذا لم يتم تحديد ملفات تعريف تنفيذ أخرى.

التبعيات

يمكن تثبيت التبعيات باستخدام make bp_install_build BUILD_PROFILE=<profile> ، والتي ستقوم بتثبيت الأدوات التالية وتبعيات الملف الشخصي:

• colcon
• yq - https://github.com/asherikov/wshandler التبعية
• cmake
• ccache - يمكن تعطيلها في Cmake Toolsains
• wget

الاستخدام

انظر .ccws/test_main.mk للحصول على تلميحات استخدام الأوامر.

الإعداد الأولي

• Override Developer و Pondor المعلمات المحددة عن طريق إضافتها إلى make/config.mk ، يمكن العثور على المعلمات المتاحة في القسم العلوي من Makefile .
• تثبيت التبعيات باستخدام make bp_install_build BUILD_PROFILE=<profile> الأهداف ، تتطلب ملفات تعريف التجميع المتقاطعة بعض الخطوات الإضافية كما هو موضح أدناه. في make البيئات التي قد تحتاج bp_install_build تشغيلها ./ccws/scripts/bootstrap.sh
• حزم استنساخ في دليل src الفرعي ، أو قم بإنشاء جديد باستخدام make new PKG=<pkg> .

التجميع

• make build PKG="<pkg>" حيث <pkg> هو واحد أو أكثر من أسماء الحزمة المنفصلة عن المساحة.
• make <pkg> - اختصار لـ make build ، ولكن يمكن أن يكون <pkg> بمثابة فرعية لاسم الحزمة. سيتم بناء جميع الحزم المطابقة للسلع الفرعي المعطى.
• يمكن تجاوز عدد الوظائف مع JOBS=X .
• make build PKG=<pkg> BUILD_PROFILE=scan_build تجاوز الملف الافتراضي.

جري

• Source setup.bash <profile> لتكون قادرًا على استخدام الحزم. يمكن أيضًا استخدام البرامج النصية للإعداد التي تم إنشاؤها بواسطة colcon مباشرةً ، على سبيل المثال ، install/<profile>/local_setup.sh ، ولكن في هذه الحالة لن تتوفر بعض وظائف CCWS .

الاختبار

• make test PKG=<pkg> اختبار مع colcon ، أو make wstest لاختبار الكل.
• make ctest PKG=<pkg> تجاوز colcon وقم بتشغيل ctest مباشرة أو make wsctest لاختبار الجميع.

الوثائق

• make BUILD_PROFILE=doxygen ، firefox artifacts/doxygen/index.html

جيل حزمة دبيان

ملخص

تتخذ CCWS مقاربة غير مألوفة إلى حد ما لتوليد الحزم الثنائية والتي هي أرضية وسط بين ROS التقليدية (1 حزمة = 1 DEB) وحاويات Docker: يتم تعبئة جميع الحزم المدمجة في مساحة العمل معًا في "Packpackage" Debian واحد. على عكس bloom CCWS ، يولد حزم ثنائية مباشرة بدلاً من إنشاء حزم المصدر أولاً.

يتم تنفيذ توليد الحزمة الثنائية كخليط ملف تعريف البناء يمكن تراكبه على ملف تعريف البناء التعسفي: make <pkg> BUILD_PROFILE=deb BASE_BUILD_PROFILE=reldebug .

نهج CCWS له عدد من المزايا:

• يتم تقليل قضايا التوافق الثنائي مقارنة بنهج ROS التقليدي:

  • لا داعي للقلق بشأن التوافق بين الحزم الثنائية المستقلة المتعددة وإجراء عمليات فحص ABI ؛

  • إذا تم تضمين حزم ROS الأساسية ، فمن الممكن أيضًا تجنب عدم التوافق الثنائي بين المزامنة من نفس إصدار ROS (تلك التي تحدث بالفعل).

• يمكن أن تكون إدارة مستودعات الحزم أكثر سلطًا مقارنةً بـ ROS عندما يتعلق الأمر بالعلامات ، والإصدارات ، والفيروسات الفرعية GIT ، وما إلى ذلك ، على سبيل المثال ، ليست هناك حاجة للحفاظ على إعادة الإطلاق لجميع الحزم.

• من السهل التعامل مع "الحلقات الفائقة" من كل من الحزم المستقلة وحاويات Docker ، على سبيل المثال ، يمكن إنشاءها من قبل المطورين من فروع عملهم ويتم نسخها بسهولة وتثبيتها على الهدف.

• تحتوي حزم دبيان على بعض المزايا على حاويات Docker بشكل عام:

  • صفر النفقات العامة أثناء التنفيذ.

  • وصول مباشر إلى الأجهزة.

  • سهولة التثبيت لخدمات النظام ، قواعد UDEV ، التكوينات ، إلخ.

• يمكن تثبيت إصدارات مختلفة من الحزم الثنائية في وقت واحد ، إذا تم بناؤها باستخدام معلمات VERSION المختلفة.

بناء حزم

بشكل عام ، من الضروري تثبيت الحزم على جذر نظام الملفات أثناء التجميع من أجل الحصول على جميع المسارات في ملفات catkin cmake وتثبيت ملفات النظام بشكل صحيح. تتجنب CCWS هذا باستخدام proot بشكل مشابه لملفات التعاون عبر الإلغاء.

المتقاطع

هنا <profile> يرمز إلى cross_raspberry_pi ، cross_jetson_xavier ، cross_jetson_nano . يمكن العثور على أهداف تصنيع عبر ccws/make/cross.mk و ccws/profiles/<profile>/targets.mk

ملاحظة على cross_jetson_xavier و cross_jetson_nano : تتطلب هذه الملفات الشخصية ubuntu 18.04 / ROS Melodic وتثبيت nvcc ، قد ترغب في القيام بذلك في حاوية.

تم توثيق سير العمل العام أدناه ، للاطلاع على المزيد من التفاصيل الفنية ، انظر اختبار ccws/doc/cross-compilation.md و CCWS CI في .ccws/test_cross.mk :

1. تثبيت تبعيات الملف الشخصي مع make bp_install_build BUILD_PROFILE=<profile>
2. الحصول على صورة النظام:
   • cross_raspberry_pi - bp_install_build الهدف يقوم تلقائيًا بتنزيل الصورة القياسية ؛
   • cross_jetson_xavier ، cross_jetson_nano - لا يحصل CCWS على هذه الصور تلقائيًا ، يجب عليك الحصول على صورة قسم نظام النسخ اليدوي إلى ccws/profiles/cross_jetson_xavier/system.img .
3. تهيئة مستودعات المصدر:
   • make wsinit REPOS="https://github.com/asherikov/staticoma.git"
   • [عند بناء جميع حزم ROS] أضف تبعيات ROS من جميع الحزم إلى مساحة العمل make dep_to_repolist ROS_DISTRO=melodic ، أو حزمة محددة make dep_to_repolist PKG=<pkg> ROS_DISTRO=melodic ؛
   • جلب جميع الحزم make wsupdate .
4. تثبيت تبعيات النظام من الحزم في مساحة العمل الخاصة بك إلى صورة النظام: make cross_install PKG=staticoma BUILD_PROFILE=<profile> ROS_DISTRO=<distro>
5. حزم التجميع:
   • Mount Sysroot مع make cross_mount BUILD_PROFILE=<profile>
   • بناء الحزم ، على سبيل المثال ، make staticoma BUILD_PROFILE=<profile> أو إنشاء وإنشاء حزمة make deb PKG=staticoma BUILD_PROFILE=<profile>
   • unmount sysroot عند الانتهاء مع make cross_umount BUILD_PROFILE=<profile>

باستخدام CCWS Docker

تتوفر صورة Docker مع CCWS وتبعيات تم تثبيتها مسبقًا للاختبار ، ولكن يوصى بإنشاء صورة مصممة باستخدام ccws/examples/Dockerfile كمثال.

يمكن استخدام الصورة بالطريقة التالية:

• docker pull asherikov/ccws
• mkdir tmp_ws # مصادر ، بناء ، تثبيت ، ذاكرة التخزين المؤقت ستذهب هنا
• docker run --rm -ti -v ./tmp_ws:/ccws/workspace asherikov/ccws bash
• make wsinit REPOS="https://github.com/asherikov/qpmad.git"
• ...

تمديد CCWS

يمكن تمديد وظيفة CCWS بطرق متعددة:

• عن طريق إضافة ملفات تعريف بناء جديدة ، على سبيل المثال ، make bp_new BUILD_PROFILE=vendor_static_checks BASE_BUILD_PROFILE=static_checks ، يتم تجاهل جميع الملفات الشخصية التي تبدأ ببادئة vendor بواسطة git ؛
• عن طريق إضافة ملفات تعريف التنفيذ ؛
• يمكن make أهداف من خلال إنشاء ملف ccws/profiles/build/vendor/<filename>.mk ؛
• يمكن إضافة لاحقة أدوات cmake إلى ccws/profiles/build/vendor/toolchain_suffix.cmake .

القضايا المعروفة

• خطأ تجزئة أثناء الحاويات المتقاطعة أو حاوية حزم دبيان إنديس سايد (كلاهما يتطلب proot ): من المفترض أن يكون ذلك بسبب ميزة seccomp linux ، والتي يمكن تعطيلها-- --security-opt seccomp:unconfined . تعطيل seccomp لـ proot مع PROOT_NO_SECCOMP=1 يبدو أنه غير ضروري.

• البرامج التي تم تجميعها باستخدام المرمى ( addr_undef_sanitizers أو thread_sanitizer ملفات تعريف) الإخراج 2: AddressSanitizer:DEADLYSIGNAL أو FATAL: ThreadSanitizer: unexpected memory mapping عند تنفيذها: السبب هو أمن الذاكرة مع ASLR (تخطيط مساحة العشوائية) في حلقات العشوائية الحديثة ، انظر Google#1614. يمكن تخفيف المشكلة عن طريق تعيين sudo sysctl vm.mmap_rnd_bits=28 .

• لا يمكن بناء بعض حزم ROS2 الأساسية باستخدام CCWS بسبب سوء استخدام CMake ، على سبيل المثال ، انظر Ament/Google_Benchmark_Vendor#17.

• proot Segfault أثناء بناء ARM64 في Ubuntu 22 ، على سبيل المثال ، أثناء بناء حزم Debian. يجب استخدام إصدار أحدث من proot ، انظر Proot-Me/Proot#312.

البرمجيات ذات الصلة

• https://github.com/ros-industrial/industrial_ci-نصوص CI محددة من ROS ، تصميم غير نشط ، "واحد ، لا توجد مطهرات ، تجميع متقاطع.
• https://github.com/ros-tooling/cross_compile/-التجميع المتقاطع المحاكاة لـ ROS و ROS2.
• https://github.com/hesselm/rpicross_notes - التجميع المتقاطع لـ Raspberry Pi تم بطريقة مختلفة.
• https://github.com/ros-tooling/action-ros-ci-عمل github الذي يغطي بعض وظائف CCWS .
• https://github.com/ros-infracture/ros_buildfarm ، http://wiki.ros.org/buildfarm-جوهر بنية التعبئة والتغليف. معقد ، متخصص في التعامل مع الحزم الفردية بدلاً من مساحات العمل ، غير مناسبة لإعادة نشر المجال السريع.
• https://github.com/colcon/colcon-bundle يوفر وظائف مشابهة لـ "superpackages" التي تسمح بتعبئة المساحة في أرشيف واحد. بطبيعة الحال ، لا يوفر جميع ميزات الحزمة مثل التبعيات ، وتثبيت البرامج النصية ، وما إلى ذلك ، فهي لا تعتمد على بيئة تشبه chroot لضمان المسارات الصحيحة.

تودو

• fuzzing https://github.com/rosin-project/ros2_fuzz ، https://github.com/sslab-gatech/robofuzz ​​، https://github.com/aflplusplus/aflplusplus ، https://ngithub.com/googlet.
• التحقيق في توليد تصحيح الأخطاء والتطوير.
• يبني القابلة للتكرار https://reproducible-builds.org/.
• استبدل ccache بـ https://github.com/mbitsnbites/buildcache.
• دمج https://github.com/oclint/oclint
• https://github.com/ejfitzgerald/clang-tidy-cache أو https://github.com/mbitsnbites/buildcache يمكن استخدامها لتخزين Cache clang-tidy .
• https://github.com/mrtazz/checkmake قد يكون مفيدًا في Makefile Linting.
• يقوم Cache Cmake بالتحقق من https://github.com/cristianadam/cmake-checks-cache ، https://github.com/polysquare/cmake-forward-cache قد يكون مفيدًا أيضًا.
• shell formatter https://github.com/mvdan/sh.
• قد يكون https://github.com/myint/cppclean مفيدًا للكشف عن الرأس غير الضروري ، ولكن يبدو قديمة.
• https://github.com/include-hat-you-use/include-hat-you-use
• بناء وقت التحليل مع clang https://github.com/aras-p/clangbuildanalyzer و/أو https://github.com/jrmadsen/compile-ime-perf.
• استبدال محتمل لـ scan_build https://github.com/ericsson/CODECHECKER مع فحوصات إضافية وتخزين مؤقت.
• https://github.com/sscpac/statick لن يتم استخدامها ، ولكن يمكن دمج بعض المبيدات.
• رمز المصدر spellcheck https://github.com/myint/scspell.
• https://github.com/jordansissel/fpm-مولد الحزمة الثنائية العامة ، استبدال محتمل لـ dpkg-deb .
• https://github.com/git-afsantos/haros-تحليل ثابت ROS-Araw ، قد تواجه مشكلات مع بيئات بناء غير catkin_make .
• https://github.com/tencent/tscancode - أداة تحليل ثابت C ++.
• https://github.com/dlu/roscompile/tree/main/roscompile - linter for catkin packages.
• استخدم https://libguestfs.org/ أو https://github.com/alperakcan/fuse-ext2 بدلاً من أجهزة الحلقة ، لتجنب استخدام sudo. هناك بعض المشكلات في Ubuntu ، Bug 759725 ، انظر https://libguestfs.org/guestfs-faq.1.html. guestfs بطيئة للغاية بحيث لا يمكن أن تكون عملية.
• يمكن أن يكون دعم التجميع الموزع مع https://github.com/distcc/distcc مفيدًا.
• أضف ملف تعريف مطهر الذاكرة كبديل لـ valgrind ، لا يدعمه gcc حاليًا.
• إضافة ملف تعريف تغطية الرمز.
• ملف تعريف التنفيذ مع https://github.com/yugr/libdebugme لبدء تصحيح الأخطاء تلقائيًا على إشارة.
• https://github.com/yugr/valgrind-preload كبديل لملف تنفيذ valgrind وهو مبالغة في حالة عامة.
• التحكم في الرمز الرمز والتحقق من https://github.com/yugr/shlibvisibilitychecker.
• إضافة ملف تعريف CodeQL (https://github.com/github/codeql).