Beranda>Kode sumber JSP>Kategori lainnya
Unduh
Status CI

Perkenalan

CCWS adalah lingkungan pengembangan untuk ROS, yang mengintegrasikan fungsionalitas ruang kerja catkin tradisional dan saluran pipa CI untuk memfasilitasi kompilasi, pengujian, pengujian, linting, dokumen dan pembuatan paket biner. Ini dimaksudkan untuk digunakan baik sebagai tulang punggung CI/CD dan lingkungan kerja untuk pengembang. Perhatikan bahwa CCWS tidak dimaksudkan untuk menjadi solusi yang lengkap, tetapi lebih merupakan dasar untuk pengembangan alur kerja khusus vendor.

CCWS adalah ROS versi agnostik, dan harus bekerja dalam banyak kasus untuk ROS1 dan ROS2.

Fitur

  • Profil Bangun - Set konfigurasi untuk proses pembuatan, misalnya, CMake toolchain, konfigurasi colcon, variabel lingkungan, dll. Profil tidak bertentangan satu sama lain dan dapat digunakan secara paralel tanpa menggunakan klon terpisah dari ruang kerja dan paket.

  • Profil Eksekusi - Mixin shell sederhana yang dimaksudkan untuk memodifikasi lingkungan waktu lari, misalnya, menjalankan node di valgrind , mengubah penanganan crash node, dll.

  • Sejumlah fitur yang diimplementasikan melalui profil build:

    • Kompilasi silang ke beberapa platform umum.

    • Generasi dokumentasi untuk seluruh ruang kerja atau paket yang dipilih menggunakan doxygen , mirip dengan https://github.com/mikepurvis/catkin_tools_document.

    • Berbaris dengan clang-tidy dan scan_build .

    • Berbagai cek statis seperti di https://github.com/sscpac/statick, khususnya:

      • cppcheck
      • catkin_lint https://github.com/fkie/catkin_lint
      • yamllint
      • shellcheck

    • Pembuatan Paket Debian Biner.

  • Template paket yang menunjukkan cara menggunakan beberapa fitur.

  • Jumlah pekerjaan paralel dapat dipilih berdasarkan RAM yang tersedia alih -alih core CPU, karena RAM kemungkinan menjadi faktor pembatas.

  • Didasarkan sepenuhnya pada skrip make and Shell. Semua skrip dan konfigurasi disimpan di ruang kerja dan mudah disesuaikan dengan kebutuhan spesifik.

Bangun profil

Konfigurasi profil terletak di ccws/profiles/build , subdirektori common berisi parameter default, yang dapat ditimpa dengan profil spesifik:

  • [default] reldebug - kompiler default, tipe build cmake adalah RelWithDebInfo
  • scan_build -Pemeriksaan statis dengan scan_build dan clang-tidy . Parameter clang-tidy didefinisikan dalam cmake toolchain dan harus diaktifkan dalam paket seperti yang ditunjukkan dalam templat paket CMakeLists . Profil ini juga menggunakan clang Compiler.
  • thread_sanitizer - Kompilasi dengan Sanitizer Thread.
  • addr_undef_sanitizers - Kompilasi dengan alamat dan pembersih perilaku yang tidak ditentukan.
  • static_checks - Pemeriksa statis dan konfigurasinya.
  • doxygen - Doxygen dan konfigurasinya.
  • cross_raspberry_pi -Kompilasi silang untuk Raspberry Pi.
  • cross_jetson_xavier -Kompilasi silang untuk Jetson Xavier.
  • cross_jetson_nano -Kompilasi silang untuk Jetson Nano.
  • clangd - Mengumpulkan perintah kompilasi untuk BASE_BUILD_PROFILE yang diberikan dan menghasilkan file konfigurasi klangd di root ruang kerja.
  • deb - Generasi Paket Debian (lihat di bawah).

Profil Eksekusi

Profil Eksekusi Menetapkan variabel lingkungan yang dapat digunakan dalam skrip peluncuran untuk mengubah perilaku waktu yang dijalankan seperti yang ditunjukkan dalam ccws/pkg_template/catkin/launch/bringup.launch , profil yang tersedia saat ini adalah:

  • common - Satu set parameter ROS umum, misalnya, ROS_HOME , secara otomatis termasuk dalam paket biner.
  • test - Mengatur variabel CCWS_NODE_CRASH_ACTION sehingga node yang menghormati itu required , yaitu, penghentian node tersebut akan mengakibatkan kerusakan skrip uji dan dengan demikian dapat dengan mudah dideteksi.
  • valgrind - SET CCWS_NODE_LAUNCH_PREFIX ke valgrind dan beberapa variabel yang mengontrol perilaku valgrind .
  • core_pattern - Mengatur pola inti untuk menyimpan file inti di direktori artefak.
  • address_sanitizer - penolong untuk profil addr_undef_sanitizers .

Profil eksekusi tidak berpengaruh pada proses pembangunan dan diperhitungkan dalam target *test* atau paket Debian. Profil Eksekusi test selalu digunakan dalam tes dan profil tambahan dapat disediakan dengan EXEC_PROFILE="<profile1> <profile2>" . Target -target ini memuat profil menggunakan setup.bash skrip yang terletak di folder root CCWS , yang juga dapat digunakan secara manual, misalnya, source setup.bash [<build_profile> [<exec_profile1> ...]] . Perhatikan bahwa skrip pengaturan selalu mencakup profil common , dan menggunakan profil eksekusi test jika tidak ada profil eksekusi lain yang ditentukan.

Dependensi

Ketergantungan dapat diinstal menggunakan make bp_install_build BUILD_PROFILE=<profile> , yang akan menginstal alat berikut dan dependensi spesifik profil:

  • colcon
  • yq - https://github.com/asherikov/wshandler ketergantungan
  • cmake
  • ccache - dapat dinonaktifkan di cmake toolchains
  • wget

Penggunaan

Lihat .ccws/test_main.mk untuk petunjuk penggunaan perintah.

Pengaturan Awal

  • Override Parameter spesifik pengembang dan vendor dengan menambahkannya ke make/config.mk , parameter yang tersedia dapat ditemukan di bagian atas Makefile .
  • Instal dependensi menggunakan make bp_install_build BUILD_PROFILE=<profile> target, profil kompilasi silang akan memerlukan beberapa langkah tambahan seperti yang dijelaskan di bawah ini. Di beberapa lingkungan minimalis Anda mungkin perlu menjalankan ./ccws/scripts/bootstrap.sh sebelum menggunakan target bp_install_build untuk menginstal make dan util lainnya.
  • Paket Klon di src Subdirektori, atau Buat Baru Menggunakan make new PKG=<pkg> .

Kompilasi

  • make build PKG="<pkg>" di mana <pkg> adalah satu atau lebih nama paket yang dipisahkan ruang.
  • make <pkg> - pintasan untuk make build , tetapi <pkg> bisa menjadi substring nama paket. Semua paket yang cocok dengan substring yang diberikan akan dibangun.
  • Jumlah pekerjaan dapat ditimpa dengan JOBS=X .
  • make build PKG=<pkg> BUILD_PROFILE=scan_build menimpa profil default.

Berlari

  • Sumber setup.bash <profile> Untuk dapat menggunakan paket. Skrip Pengaturan yang dihasilkan oleh colcon juga dapat digunakan secara langsung, misalnya, install/<profile>/local_setup.sh , tetapi dalam hal ini beberapa fungsionalitas CCWS tidak akan tersedia.

Pengujian

  • make test PKG=<pkg> tes dengan colcon , atau make wstest untuk menguji semuanya.
  • make ctest PKG=<pkg> bypass colcon dan jalankan ctest secara langsung atau make wsctest untuk menguji semua.

Dokumentasi

  • make BUILD_PROFILE=doxygen , firefox artifacts/doxygen/index.html

Generasi Paket Debian

Ringkasan

CCWS mengambil pendekatan yang agak tidak umum untuk pembuatan paket biner yang merupakan jalan tengah antara ROS tradisional (1 paket = 1 deb) dan wadah Docker: Semua paket yang dibangun di ruang kerja dikemas bersama menjadi 'superpackage' Debian tunggal. Tidak seperti bloom CCWS menghasilkan paket biner secara langsung alih -alih menghasilkan paket sumber terlebih dahulu.

Pembuatan paket biner diimplementasikan sebagai mixin profil build yang dapat diaplikasikan di atas profil build yang sewenang -wenang: make <pkg> BUILD_PROFILE=deb BASE_BUILD_PROFILE=reldebug .

Pendekatan CCWS memiliki sejumlah keunggulan:

  • Masalah kompatibilitas biner diminimalkan dibandingkan dengan pendekatan ROS tradisional:

    • Tidak perlu khawatir tentang kompatibilitas antara beberapa paket biner mandiri dan melakukan pemeriksaan ABI;

    • Jika paket ROS base disertakan, dimungkinkan juga untuk menghindari ketidakcocokan biner antara sinkronisasi rilis ROS yang sama (itu sebenarnya terjadi).

  • Manajemen Repositori Paket dapat lebih sederhana dibandingkan dengan ROS ketika datang ke tag, versi, submodul GIT, dll, misalnya, tidak perlu mempertahankan repo rilis untuk semua paket.

  • 'Superpackages' Debian lebih mudah ditangani daripada paket mandiri dan wadah Docker, misalnya, mereka dapat dihasilkan oleh pengembang dari cabang kerja mereka dan dengan mudah disalin dan dipasang pada target.

  • Paket Debian memiliki beberapa keunggulan dibandingkan wadah Docker secara umum:

    • Nol overhead selama eksekusi.

    • Akses langsung ke perangkat keras.

    • Instalasi Layanan Sistem yang Mudah, Aturan Udev, Konfigurasi, dll.

  • Versi paket biner yang berbeda dapat diinstal secara bersamaan, jika dibangun menggunakan parameter VERSION yang berbeda.

Paket bangunan

Secara umum, perlu untuk menginstal paket ke root sistem file selama kompilasi untuk mendapatkan semua jalur yang tepat di file catkin cmake dan menginstal file sistem dengan benar. CCWS menghindari ini menggunakan proot mirip dengan profil kompilasi silang.

Kompilasi silang

Di sini <profile> singkatan dari cross_raspberry_pi , cross_jetson_xavier , cross_jetson_nano . Kompilasi silang membuat target dapat ditemukan di ccws/make/cross.mk dan ccws/profiles/<profile>/targets.mk

Catatan di cross_jetson_xavier dan cross_jetson_nano : Profil ini memerlukan ubuntu 18.04 / ROS melodik dan instal nvcc , Anda mungkin ingin melakukan ini dalam wadah.

Alur kerja umum didokumentasikan di bawah ini, untuk detail teknis lebih lanjut lihat ccws/doc/cross-compilation.md dan CCWS CI tes di .ccws/test_cross.mk :

  1. Instal dependensi profil dengan make bp_install_build BUILD_PROFILE=<profile>
  2. Dapatkan gambar sistem:
    • cross_raspberry_pi - bp_install_build target secara otomatis mengunduh gambar standar;
    • cross_jetson_xavier , cross_jetson_nano - CCWS tidak memperoleh gambar ini secara otomatis, Anda harus manual menyalin gambar partisi sistem ke ccws/profiles/cross_jetson_xavier/system.img .
  3. Inisialisasi repositori sumber:
    • make wsinit REPOS="https://github.com/asherikov/staticoma.git"
    • [Saat membangun semua paket ROS] Tambahkan dependensi ROS dari semua paket Anda ke ruang kerja make dep_to_repolist ROS_DISTRO=melodic , atau paket spesifik make dep_to_repolist PKG=<pkg> ROS_DISTRO=melodic ;
    • Ambil semua paket make wsupdate .
  4. Instal Sistem Ketergantungan Paket di Ruang Kerja Anda ke Gambar Sistem: make cross_install PKG=staticoma BUILD_PROFILE=<profile> ROS_DISTRO=<distro>
  5. Kompilasi Paket:
    • Mount Sysroot dengan make cross_mount BUILD_PROFILE=<profile>
    • Bangun Paket, Misalnya make staticoma BUILD_PROFILE=<profile> atau Bangun dan Hasilkan Paket make deb PKG=staticoma BUILD_PROFILE=<profile>
    • unmount sysroot saat selesai dengan make cross_umount BUILD_PROFILE=<profile>

Menggunakan CCWS Docker

Gambar Docker dengan CCWS yang diinstal sebelumnya dan dependensi tersedia untuk pengujian, tetapi disarankan untuk membangun gambar yang disesuaikan menggunakan ccws/examples/Dockerfile sebagai contoh.

Gambar dapat digunakan dengan cara berikut:

  • docker pull asherikov/ccws
  • mkdir tmp_ws # sumber, build, instal, cache akan pergi ke sini
  • docker run --rm -ti -v ./tmp_ws:/ccws/workspace asherikov/ccws bash
  • make wsinit REPOS="https://github.com/asherikov/qpmad.git"
  • ...

Memperluas CCWS

Fungsionalitas CCWS dapat diperluas dalam berbagai cara:

  • Dengan menambahkan profil build baru, misalnya, make bp_new BUILD_PROFILE=vendor_static_checks BASE_BUILD_PROFILE=static_checks , semua profil yang dimulai dengan awalan vendor diabaikan oleh git;
  • dengan menambahkan profil eksekusi;
  • make target dapat ditambahkan dengan membuat file ccws/profiles/build/vendor/<filename>.mk ;
  • Suffix cmake Toolchain yang umum dapat ditambahkan ke ccws/profiles/build/vendor/toolchain_suffix.cmake .

Masalah yang diketahui

  • Kesalahan Segmentasi Selama kompilasi silang atau wadah docker pembuatan paket Debian (keduanya memerlukan proot ): mungkin karena fitur seccomp Linux, yang dapat dinonaktifkan dengan --security-opt seccomp:unconfined . Menonaktifkan seccomp untuk proot dengan PROOT_NO_SECCOMP=1 tampaknya tidak perlu.

  • Program yang dikompilasi dengan sanitizers ( addr_undef_sanitizers atau thread_sanitizer Profil Bangun) Output 2: AddressSanitizer:DEADLYSIGNAL atau FATAL: ThreadSanitizer: unexpected memory mapping Saat Dieksekusi: Alasannya Kekencang Keamanan Memori dengan Sanit (Alamat Layout Space#. Masalah ini dapat dikurangi dengan mengatur sudo sysctl vm.mmap_rnd_bits=28 .

  • Beberapa paket inti ROS2 tidak dapat dibangun dengan CCWS karena penyalahgunaan CMake, misalnya, lihat AMENT/Google_BENCHMARCE_VENDOR#17.

  • proot Segfault saat membangun ARM64 di Ubuntu 22, misalnya, sambil membangun paket Debian. Versi proot yang lebih baru harus digunakan, lihat Proot-Me/Proot#312.

Perangkat lunak terkait

  • https://github.com/ros-industrial/industrial_ci-skrip CI spesifik ROS, noninteraktif, desain "satu-tembakan", tidak ada pembersih, kompilasi silang yang ditiru.
  • https://github.com/ros-tooling/cross_compile/-kompilasi silang yang ditiru untuk ROS dan ROS2.
  • https://github.com/hesselm/rpicross_notes - Kompilasi silang untuk raspberry pi dilakukan dengan cara yang berbeda.
  • https://github.com/ros-tooling/action-ros-ci-aksi github yang mencakup beberapa fungsionalitas CCWS .
  • https://github.com/ros-infrastructure/ros_buildfarm, http://wiki.ros.org/buildfarm-Inti dari infrastruktur kemasan ROS. Rumit, berspesialisasi dalam penanganan paket individu daripada ruang kerja, tidak cocok untuk pemindahan lapangan cepat.
  • https://github.com/colcon/colcon-bundle memberikan fungsionalitas yang mirip dengan 'superpackages' yang memungkinkan untuk mengemas ruang menginstal ke dalam arsip tunggal. Secara alami, itu tidak menyediakan semua fitur paket seperti dependensi, instal skrip, dll. Selain itu, tidak bergantung pada lingkungan seperti chroot untuk memastikan jalur yang benar.

Todo

  • Fuzzing https://github.com/rosin-project/ros2_fuzz, https://github.com/sslab-gatech/robofuzz, https://github.com/aflplusplus/aflplusplus, https://github.com/github/aflplusplus, https:/github.com/github.
  • Selidiki generasi paket debug dan pengembangan.
  • Bangun yang dapat direproduksi https://reproducible-builds.org/.
  • Ganti ccache dengan https://github.com/mbitsnbites/buildcache.
  • Mengintegrasikan https://github.com/oclint/oclint
  • https://github.com/ejfitzgerald/clang-tidy-cache atau https://github.com/mbitsnbites/buildcache dapat digunakan untuk cache clang-tidy run.
  • https://github.com/mrtazz/checkmake mungkin berguna untuk Makefile Linting.
  • Cache Cmake memeriksa dengan https://github.com/cristianadam/cmake-checks-cache, https://github.com/polysquare/cmake-forward-cache mungkin juga berguna.
  • Shell Formatter https://github.com/mvdan/sh.
  • https://github.com/myint/cppclean mungkin berguna untuk deteksi header yang tidak perlu, tetapi terlihat basi.
  • https://github.com/include-what-you-use/include-what-you-use
  • Bangun Analisis Waktu dengan Clang https://github.com/aras-p/clangbuildanalyzer dan/atau https://github.com/jrmadsen/compile-time-perf.
  • Penggantian potensial untuk scan_build https://github.com/ericsson/codechecker dengan pemeriksaan dan caching tambahan.
  • https://github.com/sscpac/statick tidak akan digunakan, tetapi beberapa linter dapat diintegrasikan.
  • Kode sumber ejaan https://github.com/myint/scspell.
  • https://github.com/jordansissel/fpm-generator paket biner generik, penggantian potensial untuk dpkg-deb .
  • https://github.com/git-afsantos/haros-analisis statis ros-aware, mungkin memiliki masalah dengan lingkungan build non catkin_make .
  • https://github.com/tencent/tscancode - alat analisis statis C ++.
  • https://github.com/dlu/roscompile/tree/main/roscompile - linter untuk paket catkin.
  • Gunakan https://libguestfs.org/ atau https://github.com/alperakscan/fuse-ext2 alih-alih perangkat loop, untuk menghindari penggunaan sudo. Ada beberapa masalah di Ubuntu, BUG 759725, lihat https://libguestfs.org/guestfs-faq.1.html. guestfs terlalu lambat untuk menjadi praktis.
  • Dukungan kompilasi terdistribusi dengan https://github.com/distcc/distcc dapat berguna.
  • Tambahkan profil pembersih memori sebagai alternatif untuk valgrind , gcc tidak mendukungnya saat ini.
  • Tambahkan profil cakupan kode.
  • Profil eksekusi dengan https://github.com/yugr/libdebugme untuk secara otomatis memulai debugger pada sinyal.
  • https://github.com/yugr/valgrind-peload sebagai alternatif untuk profil eksekusi valgrind -overkill dalam kasus umum.
  • Kontrol simbol visibilitas dan verifikasi dengan https://github.com/yugr/shlibvisibilityChecker.
  • Tambahkan profil CodeQL (https://github.com/github/codeql).
Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua