ShlibVisibilityChecker

O que é isso?

O ShlibvisibilityChecker é uma pequena ferramenta que localiza símbolos internos exportados desnecessariamente de bibliotecas compartilhadas. Tais símbolos são indesejáveis ​​porque causam

• Tempo de inicialização mais lento (devido ao processamento de realocação mais lento pelo ligante dinâmico, consulte um exemplo do mundo real para o kernel Linux)
• desaceleração do desempenho (devido a chamadas de função indiretas, a incapacidade do compilador de otimizar funções exportáveis, por exemplo, embrulhá-las, desvio eficaz de --gc-sections )
• vazamento de detalhes da implementação (se alguns clientes começarem a usar funções privadas em vez de APIs regulares)
• bugs devido ao símbolo de tempo de execução conflitando
  • Crash em Apache devido ao símbolo de confronto com libasn1
  • Mais exemplos do mundo real no blog Flameeyes

O ShlibvisibilityChecker compara as APIs declaradas em cabeçalhos públicos contra APIs exportadas de bibliotecas compartilhadas e alerta sobre discrepâncias. Na maioria dos casos, esses símbolos são símbolos internos da biblioteca que devem ser ocultos (em casos raros, esses são símbolos internos que são usados ​​por outras bibliotecas ou executáveis ​​no mesmo pacote e shlibvischeck-debian tenta não relatar tais casos).

Tais discrepâncias devem ser corrigidas pelo pacote de recompilação com -fvisibility=hidden (veja aqui para obter detalhes). Uma correção típica, para um projeto típico do AutoConf, pode ser encontrado aqui.

O ShlibvisibilityChecker não deve ser 100% preciso, mas prestar assistência na localização de pacotes que podem se beneficiar mais das anotações de visibilidade (e para entender o quão ruim a situação com visibilidade é nas distros modernas).

Como usar

Para verificar um pacote bruto, ou seja, vários cabeçalhos e bibliotecas compartilhadas, colete interfaces de origem e binários e compare -os:

 $ bin/read_header_api --only-args /usr/include/xcb/* > api.txt
$ ./read_binary_api --permissive /usr/lib/x86_64-linux-gnu/libxcb*.so > abi.txt
$ vimdiff api.txt abi.txt  # Or `comm -13 api.txt abi.txt'

Outro cenário útil é localizar símbolos exportados das bibliotecas compartilhadas do Debian Package, mas não são declaradas em seus cabeçalhos. A principal ferramenta para isso é um script shlibvischeck-debian .

Para aplicá -lo a um pacote, execute

 $ shlibvischeck-debian libacl1
The following exported symbols in package 'libacl1' are private:
  __acl_extended_file
  __acl_from_xattr
  __acl_to_xattr
  __bss_start
  _edata
  _end
  _fini
  _init
  closed
  head
  high_water_alloc
  next_line
  num_dir_handles
  walk_tree

Para pular símbolos autogenerados como _init ou _edata (causados ​​por scripts de ligação LD e arquivos de inicialização libgcc) Adicionar --permissive .

Você também pode verificar os problemas de visibilidade em um conjunto arbitrário de cabeçalhos e bibliotecas:

 $ shlibvischeck-common --permissive --cflags="-I/usr/include -I$AUDIT_INSTALL/include -I/usr/lib/llvm-5.0/lib/clang/5.0.0/include" $AUDIT_INSTALL/include/*.h $AUDIT_INSTALL/lib/*.so*

Como instalar

Os pré-requisitos de tempo de construção são python3 (módulo setuptools ), clang , llvm , libclang-dev , g++ e make . As dependências em tempo de execução são python3 (módulo python-magic ), pkg-config e aptitude . Para instalar tudo no Ubuntu, execute

 $ sudo apt-get install python3 clang llvm libclang-dev g++ make pkg-config aptitude
$ sudo python3 -mensurepip
$ sudo pip3 install setuptools python-magic

(Você também pode usar scripts scripts/install-deps.sh ).

Você também precisa permitir o acesso aos pacotes de origem do Ubuntu via

 $ sudo sed -Ei 's/^# *deb-src /deb-src /' /etc/apt/sources.list
$ sudo apt-get update

Os componentes python e binários são construídos separadamente:

 $ make clean all && make install
$ ./setup.py build && pip3 install .

Durante a análise, shlibvischeck-debian instala novos pacotes Debian, por isso é recomendável executá-lo sob Chroot ou na VM. Existem muitas instruções sobre como configurar o Chroot, por exemplo, este.

Onde encontrar pacotes

Uma lista de pacotes para análise pode ser obtida da Classificação Debian:

 $ curl https://popcon.debian.org/by_vote | awk '/^[0-9]+ +lib/{print $2}' > by_vote
$ shlibvischeck-debian $(head -500 by_vote | tr 'n' ' ')

Como consertar um pacote

Depois de encontrar um pacote problemático, você pode corrigi -lo restringindo a visibilidade dos símbolos internos. A melhor maneira de controlar a visibilidade do símbolo em um pacote é

• ocultar todos os símbolos por padrão, adicionando -fvisibility=hidden aos CFLAGS no projeto BuildScripts ( Makefile.in ou CMakeLists.txt )
• Anote explicitamente funções visíveis publicamente com __attribute__((visibility("default")))

Consulte Fix no Libcaca, por exemplo.

Questões e limitações

No momento, a ferramenta funciona apenas em sistemas baseados em Debian (por exemplo, Ubuntu). Isso deve ser bom, pois o BuildScripts é o mesmo em todas as distros, portanto, a detecção de problemas no Ubuntu também serviria a todos os outros.

Uma questão importante de design é que a ferramenta não pode detectar símbolos que são usados ​​indiretamente, ou seja, não através de uma API, mas através de dlsym ou declaração explícita de protótipo fora do cabeçalho no arquivo de origem. Isso acontece em plugins ou shlibs fortemente interconectados no mesmo projeto. Esperamos que esses casos sejam raros.

O ShlibvisibilityChecker é uma ferramenta heurística, para que não seja capaz de analisar todos os pacotes. A taxa de sucesso atual é de cerca de 60%. As principais razões para os erros são

• Cabeçalhos mal estruturados, ou seja, os que não #include todas as suas dependências (por exemplo, libatasmart falha em incluir stddef.h e tdb falha em incluir sys/types.h ).
• Cabeçalhos internos que não devem ser #inclui diretamente (por exemplo, lzma/container.h )
• Cabeçalhos experimentais que requerem definições de macro personalizadas (não listadas no PKGConfig) (por exemplo, dpkg/macros.h requer LIBDPKG_VOLATILE_API )
• Dependências ausentes (por exemplo, libverto-dev usa cabeçalhos de glib, mas não declara isso)

Outros problemas:

• Todos estão espalhados por toda a base de código
• Seria interessante repassar pacotes dependentes e verificar se eles usam símbolos inválidos

Troféus

A ferramenta encontrou um grande número de pacotes que não tinham anotações de visibilidade (na prática, cada segundo pacote possui exportações espúrias). Aqui estão alguns que eu tentei consertar:

• Bzip2: ocultar símbolos não utilizados em libbz2
• Expat: símbolos privados exportados da biblioteca compartilhada (fixada)
• Libaudit: Símbolos privados exportados no espaço de auditoria (parcialmente fixo)
• GDBM: SR #347: Adicione anotações de visibilidade para ocultar símbolos privados
• Libnfnetfilter: [rfc] [patch] ocultar símbolos privados em libnfnetlink (fixo)
• Libarchive: ocultar símbolos privados em libarchive.so (fixado)
• Libcaca: ocultar símbolos privados na libcaca (fixo)
• Libgmp: Construindo GMP com -fvisibility = Hidden
• Vorbis: Remova símbolos privados de Vorbis compartilhados Libs

Mais pacotes de perspectiva (do Debian Top 100): libpopt1, libgpg-error0, libxml2, libwrap0, libpcre3, libkeyutils1, libitit2, liblcms2-2.