NotDec

NOTDEC: Decompiler WebAssembly และ Framework การวิเคราะห์แบบคงที่

เว็บไซต์

中文

notdec คือ

1. โครงการที่มีจุดมุ่งหมายที่จะทำให้ demystify ภายใน decompiler
2. decompiler webAssembly ที่สามารถทดสอบด้วยเทคนิคการถอดรหัสใหม่
   • การกู้คืนตัวแปร
   • การวิเคราะห์โครงสร้าง

คำสำคัญ: ย้อนกลับ LLVM, LLVM C Backend / LLVM-CBE

การพัฒนา - Linux

ขึ้นอยู่กับ Ubuntu 22.04

1. ติดตั้งการพึ่งพา
   • ใช้ apt

      sudo apt install wabt python-is-python3 clang-14 cmake zlib1g-dev g++ ninja-build
     

   • ติดตั้ง wasi-sdk to /opt

      wget https://github.com/WebAssembly/wasi-sdk/releases/download/wasi-sdk-20/wasi-sdk-20.0-linux.tar.gz -P /tmp
     sudo tar xf /tmp/wasi-sdk-20.0-linux.tar.gz -C /opt
     

2. โคลน repo นี้
3. ติดตั้ง LLVM 14
   • ดำเนินการ scripts/build-debug-llvm.sh เพื่อดาวน์โหลดและสร้าง LLVM คุณอาจพบข้อผิดพลาดเกี่ยวกับไม่มีหน่วยความจำระหว่างการเชื่อมโยงเพียงลดจำนวนคู่ขนานเป็น 1
4. ติดตั้ง souffle
   • https://souffle-lang.github.io/build และตั้งค่า SOUFFLE_DOMAIN_64BIT=ON
5. cmake build

中文

文档站

notdec: 反编译器原理分析

本项目旨在：

1. 学习现有反编译器的原理， 系统地总结现有反编译器的工作， 算法
2. 选择合适的算法， 尝试实现自己的反编译器

资料收集

学习阶段：

1. llvm ir 基础： 只要达到能手写 llvm ir 的程度就行。即主要理解各种语言特性对应的是什么样的 llvm ir 代码。同时理解带 alloca 的半 ssa 形式， 即 alloca 里的变量是非 ssa， 外面的是 ssa 。

   • LLVM-tutor
   • ollvm 源码

2. SSA 与编译优化基础

   • 《 วิศวกรรมคอมไพเลอร์》 9.3 章， 深入研读。其他的章节没那么重要
   • 再找找其他讲过 SSA 的中文书？

   关于 SSA 的实验

   • mem2reg 实验指导· gitbook (buaa-se-compiling.github.io)
   • LV9+.4 SSA 形式 - 北京大学编译实践课程在线文档 | 北大编译实践在线文档 (pku-minic.github.io)

   其他不错的资料：

   • 《 SSA Book》
   • 《 การก่อสร้าง SSA ที่เรียบง่ายและมีประสิทธิภาพ》

3. 反编译

   • 代码优化和
   • 控制流结构恢复

资料

现有的反编译器和资料

规划： 基于 llvm ir 的反编译

为什么要使用 llvm ir？

1. 之后可以直接对接 SVF， 得到较好的指针分析结果。

优先实现 wasm 的反编译。

1. wasm 转 llvm ir
   1. wavm 是一个基于 llvm 的 wasm 的 jit， 有部分逻辑是 wasm 转 llvm ir
      1. 生成的 ir 不够简洁， 有很多为了编译到汇编的冗余的内容
2. สิ่งที่ต้องทำ

规划： 反编译阶段

图片来自การมอบหมายเดี่ยวแบบคงที่สำหรับการสลายตัว

反编译中的关键算法： การกู้คืนประเภท （通过指令约束推导类型） การวิเคราะห์โครงสร้าง (恢复控制流)

1. 前端： 将字节码转为 llvm ir
2. 中端： 优化与分析
   1. 分析函数参数、分析 Callee บันทึกลงทะเบียน (Wasm 可以跳过这个阶段)
   2. SSA 构建： 使得前端可以有些冗余的 alloca， 由 SSA 构建来将相关 alloca 消除。）））
   3. GVNGCM： การกำหนดหมายเลขมูลค่าทั่วโลกและการเคลื่อนไหวของรหัสทั่วโลก优化算法， 有强大的优化能力， 有助于反混淆等。（编译原理相关）)
   4. 内存分析： 将各种通过内存访问的变量显式地恢复出来。可能要用到指针分析算法，： หน่วยความจำ SSA 。
3. 后端： 高层控制流恢复， 将字节码转为 ast， 打印为高级语言的形式。

项目架构与工具

由于基于 llvm ir， 因此语言采用 c ++ 。

开发环境： vscode + cmake 。将 wabt， llvm 等作为 cmake 的外部依赖。

开发环境搭建 - DevContainer

2023 年9月 7 日注： 由于对 llvm 的调试需求越来越多， 项目转为使用本地源码编译的 llvm （relwithdebinfo 或 debug build）， 且编译得到的二进制文件过大， 因此不再推荐使用 devcontainer 。。因此不再推荐使用，，，，，，，，

vscode devcontainer 。出于性能考虑， 在โคลน时可以直接โคลน到 wsl 的 ext4 文件系统里。文件系统里。

1. 安装 Docker Desktop บน Windows： https://docs.docker.com/desktop/install/windows-install/ （无论是家庭版还是专业版均可））
   1. 其他系统直接安装นักเทียบท่า
2. 用 VSCODE 打开代码， 安装 dev containers 插件， 按 Ctrl-Shift-p 然后输入查找Remote-Containers: Rebuild and Reopen in container
3. 等待构建， 构建完成后会直接进入开发环境中。
4. 安装 cmake 相关插件， toolkit 选 Clang 。

windows windows 侧的 ssh-agent 提供的 ssh key 的ไปข้างหน้า功能： https://stackoverflow.com/questions/72293035/error-communication-with-agent-failed-when-ssh-auth-sock-is-sssh-ssh-agent-agent

代码调试

直接使用自带的 C/C ++ 调试， 不知道为什么会非常慢， gdb 执行 backtrace 要卡 3 秒， 各种ขั้นตอน命令要卡 5-6 秒。因此安装使用 vscode 的 codelldb 插件。

代码补全使用 clangd 插件。根据提示禁用 Intellisense， 然后根据插件提示确认下载 clangd 。

提交代码前

1. 写好ส่งข้อความ， 简要概况所有的修改。
2. 检查添加的代码的注释和文档是否充足。

สิ่งที่ต้องทำ

1. 反编译器自身： 能够对“ 内存” 中的变量也构建 ssa 进行优化。

2. 最终的结果能够很好地重编译。

3. 反编译器实现过程尽量记录完善的文档， 未来考虑整理扩写为系列教程。

4. 将 wasm lift 到 llvm ir

   • 支持将 wasm 内存直接映射到某个基地址， 从而直接支持运行， 以及หน่วยความจำเติบโต相关指令。
   • 支持คนแคระ调试信息， 从而映射回原วัด， wasm

5. 设计一个映射， 将 lift 之后的 ir 反向转回 wasm