ShlibVisibilityChecker

Apa ini?

ShlibvisibilityChecker adalah alat kecil yang menempatkan simbol internal yang diekspor secara tidak perlu dari perpustakaan bersama. Simbol seperti itu tidak diinginkan karena menyebabkan

• Waktu startup yang lebih lambat (karena pemrosesan relokasi yang lebih lambat oleh Dynamic Linker, lihat contoh dunia nyata untuk kernel Linux)
• Perlambatan kinerja (karena panggilan fungsi tidak langsung, ketidakmampuan kompiler untuk mengoptimalkan fungsi yang dapat diekspor misalnya sejalan, turnoff yang efektif dari --gc-sections )
• Kebocoran detail implementasi (jika beberapa klien mulai menggunakan fungsi pribadi alih -alih API biasa)
• Bug karena simbol runtime berbenturan
  • crash in apache karena bentrokan simbol dengan libasn1
  • Lebih banyak contoh dunia nyata di blog Flameeyes

ShlibvisibilityChecker membandingkan API yang dinyatakan dalam header publik terhadap API yang diekspor dari perpustakaan bersama dan memperingatkan tentang perbedaan. Dalam sebagian besar kasus simbol tersebut adalah simbol perpustakaan internal yang harus disembunyikan (dalam kasus yang jarang ini adalah simbol internal yang digunakan oleh perpustakaan lain atau executable dalam paket yang sama dan shlibvischeck-debian berusaha keras untuk tidak melaporkan kasus tersebut).

Perbedaan seperti itu kemudian harus diperbaiki dengan mengembalikan paket dengan -fvisibility=hidden (lihat di sini untuk detailnya). Perbaikan yang khas, untuk proyek autoconf khas dapat ditemukan di sini.

ShlibvisibilityChecker tidak dimaksudkan untuk 100% tepat tetapi lebih memberikan bantuan dalam menemukan paket yang mungkin paling menguntungkan dari anotasi visibilitas (dan untuk memahami seberapa buruk situasi dengan visibilitas dalam distro modern).

Cara menggunakan

Untuk memeriksa paket mentah, yaitu sekelompok header dan libs bersama, mengumpulkan antarmuka sumber dan biner dan membandingkannya:

 $ bin/read_header_api --only-args /usr/include/xcb/* > api.txt
$ ./read_binary_api --permissive /usr/lib/x86_64-linux-gnu/libxcb*.so > abi.txt
$ vimdiff api.txt abi.txt  # Or `comm -13 api.txt abi.txt'

Skenario lain yang berguna adalah menemukan simbol yang diekspor dari perpustakaan bersama paket Debian tetapi tidak dinyatakan dalam headernya. Alat utama untuk ini adalah skrip shlibvischeck-debian .

Untuk menerapkannya pada paket, jalankan

 $ shlibvischeck-debian libacl1
The following exported symbols in package 'libacl1' are private:
  __acl_extended_file
  __acl_from_xattr
  __acl_to_xattr
  __bss_start
  _edata
  _end
  _fini
  _init
  closed
  head
  high_water_alloc
  next_line
  num_dir_handles
  walk_tree

Untuk melewatkan simbol autogenerasi seperti _init atau _edata (disebabkan oleh skrip linker LD dan file startup libgcc) tambahkan --permissive .

Anda juga dapat memeriksa masalah visibilitas di header dan perpustakaan sewenang -wenang:

 $ shlibvischeck-common --permissive --cflags="-I/usr/include -I$AUDIT_INSTALL/include -I/usr/lib/llvm-5.0/lib/clang/5.0.0/include" $AUDIT_INSTALL/include/*.h $AUDIT_INSTALL/lib/*.so*

Cara menginstal

Prasyarat build-time adalah python3 (modul setuptools ), clang , llvm , libclang-dev , g++ dan make . Ketergantungan run-time adalah python3 (modul python-magic ), pkg-config dan aptitude . Untuk menginstal semuanya di Ubuntu, jalankan

 $ sudo apt-get install python3 clang llvm libclang-dev g++ make pkg-config aptitude
$ sudo python3 -mensurepip
$ sudo pip3 install setuptools python-magic

(Anda juga dapat menggunakan scripts/install-deps.sh ).

Anda juga perlu mengaktifkan akses ke paket sumber Ubuntu melalui

 $ sudo sed -Ei 's/^# *deb-src /deb-src /' /etc/apt/sources.list
$ sudo apt-get update

Komponen Python dan biner dibangun secara terpisah:

 $ make clean all && make install
$ ./setup.py build && pip3 install .

Selama analisis shlibvischeck-debian menginstal paket debian baru sehingga disarankan untuk menjalankannya di bawah chroot atau di VM. Ada banyak instruksi tentang pengaturan chroot misalnya yang satu ini.

Dimana menemukan paket

Daftar paket untuk analisis dapat diperoleh dari peringkat Debian:

 $ curl https://popcon.debian.org/by_vote | awk '/^[0-9]+ +lib/{print $2}' > by_vote
$ shlibvischeck-debian $(head -500 by_vote | tr 'n' ' ')

Cara Memperbaiki Paket

Setelah Anda menemukan paket yang bermasalah, Anda dapat memperbaikinya dengan membatasi visibilitas simbol internal. Cara terbaik untuk mengontrol visibilitas simbol dalam suatu paket adalah dengan

• Sembunyikan semua simbol secara default dengan menambahkan -fvisibility=hidden ke CFLAGS dalam proyek buildscripts ( Makefile.in atau CMakeLists.txt )
• secara eksplisit membuat anotasi fungsi yang terlihat publik dengan __attribute__((visibility("default")))

Lihat Fix di Libcaca misalnya.

Masalah dan keterbatasan

At The Moment Tool hanya berfungsi pada sistem berbasis Debian (misalnya Ubuntu). Ini harus baik -baik saja karena buildscript adalah sama di semua distro sehingga mendeteksi masalah pada Ubuntu juga akan melayani orang lain.

Masalah desain yang penting adalah bahwa alat ini tidak dapat mendeteksi simbol yang digunakan secara tidak langsung yaitu bukan melalui API tetapi melalui dlsym atau deklarasi prototipe out-of-header eksplisit dalam file sumber. Ini terjadi di plugin atau shlib yang saling berhubungan erat dalam proyek yang sama. Kasus -kasus seperti itu semoga jarang terjadi.

ShlibvisibilityChecker adalah alat heuristik sehingga tidak akan dapat menganalisis semua paket. Tingkat keberhasilan saat ini adalah sekitar 60%. Alasan utama kesalahan adalah

• Header terstruktur dengan buruk yaitu yang tidak #termasuk semua dependensi mereka (misalnya libatasmart gagal memasukkan stddef.h dan tdb gagal memasukkan sys/types.h ).
• header internal yang tidak boleh #termasuk secara langsung (misalnya lzma/container.h )
• header eksperimental yang membutuhkan definisi makro khusus (tidak terdaftar dalam pkgconfig) (misalnya dpkg/macros.h membutuhkan LIBDPKG_VOLATILE_API )
• Ketergantungan yang hilang (misalnya libverto-dev menggunakan header glib tetapi tidak menyatakan ini)

Masalah lain:

• Todos tersebar di seluruh basis kode
• akan menarik untuk membahas paket dependen dan memeriksa apakah mereka menggunakan simbol yang tidak valid

Trofi

Alat ini menemukan sejumlah besar paket yang tidak memiliki anotasi visibilitas (dalam praktiknya setiap paket kedua memiliki ekspor palsu). Berikut adalah beberapa yang saya coba perbaiki:

• BZIP2: Sembunyikan simbol yang tidak digunakan di libbz2
• Expat: Simbol pribadi yang diekspor dari perpustakaan bersama (diperbaiki)
• Libaudit: Simbol pribadi yang diekspor di audit-userspace (sebagian diperbaiki)
• GDBM: SR #347: Tambahkan anotasi visibilitas untuk menyembunyikan simbol pribadi
• Libnfnetfilter: [rfc] [patch] Sembunyikan simbol pribadi di libnfnetlink (diperbaiki)
• Libarchive: sembunyikan simbol pribadi di libarchive.so (diperbaiki)
• Libcaca: sembunyikan simbol pribadi di libcaca (diperbaiki)
• Libgmp: Membangun GMP dengan -fvisibilitas = tersembunyi
• Vorbis: Hapus simbol pribadi dari Vorbis Shared Libs

Paket perspektif lebih banyak (dari Debian Top-100): libpopt1, libgpg-error0, libxml2, libwrap0, libpcre3, libkeyutils1, libedit2, liblcms2-2.