1.一文带你梳理Clang编译步骤及命令
2.（一）LLVM概述——介绍与安装
3.M1 源码安装fastText的码安坎坷之路
4.clang 在 Windows 下的安装教学
5.2.在Ubuntu安装 CARLA 的详细教程
6.clang挂了，探寻Illegal instruction: 4背后的码安秘密

一文带你梳理Clang编译步骤及命令

       摘要： 本文简单介绍了Clang编译过程中涉及到的步骤和每个步骤的产物，并简单分析了部分影响预处理和编译成功的码安部分因素。

       本文简单介绍部分Clang和LLVM的码安编译命令。更关注前端部分（生成 IR 部分）。码安

1. Clang编译步骤概览

       我们可以使用命令打印出来Clang支持的码安资料付费下载源码步骤，如下：

clang-ccc-print-phasestest.c+-0:input,码安"test.c",c+-1:preprocessor,{ 0},cpp-output+-2:compiler,{ 1},ir+-3:backend,{ 2},assembler+-4:assembler,{ 3},object5:linker,{ 4},image

       根据上面的介绍，可以根据每一部分的码安结果，分为5个步骤（不包含上面的码安第0步）：preprocessor、compiler、码安backend、码安assembler、码安linker等。码安

       具体到 Clang 中每一步骤生成的码安结果文件。我们可以使用下面的码安示意图来表示：

       说明：上面的示意图以Clang编译一个C文件为例，介绍了Clang编译过程中涉及到的中间文件类型：

       (1) test.c 为输入的源码（对应步骤 0）；

       (2) test.i 为预处理文件（对应步骤 1 的输出，cpp-output 中，cpp 不是指 C++ 语言，而是 c preprocessor 的 缩写）；

       (3) test.bc 为 bitcode文件，是clang的一种中间表示（对应步骤 2 的输出）；

       (4) test.ll 为一种文本化的中间表示，可以打开来看的（对应步骤 2 的输出， 和 .bc 一样都是中间表示，可以相互转化）；

       (5) test.s 为汇编结果（对应步骤 3 的输出）；

       (6) test.o 为单文件生成的二进制文件（对应步骤 4 的输出）；

       (7) image 为可执行文件（对应步骤 5 的输出）。

       注意：示意图画的也并不完整，如下介绍：

       (1) 箭头所指的方向，表示可以从一种类型的文件，生成箭头所指的文件类型；

       (2) 图中箭头并没有画完，比如可以从 test.c 生成 test.s, test.o 等。如果将上面的示意图当做一种 有向图，那么基于 箭头 所指的方向，只要 节点能连接的点，都是可以做转换的；

       (3) 图中的实线和虚线，只是表示本人关心的Clang编译器中的内容，并没有其他的含义，本文也只介绍图中实线部分的内容，虚线部分的内容不做介绍。

2. 转换命令集合

       下面介绍部分涉及到上面步骤的转换命令：

#1..c->.iclang-E-ctest.c-otest.i#2..c->.bcclang-emit-llvmtest.c-c-otest.bc#3..c->.llclang-emit-llvmtest.c-S-otest.ll#4..i->.bcclang-emit-llvmtest.i-c-otest.bc#5..i->.llclang-emit-llvmtest.i-S-otest.ll#6..bc->.llllvm-distest.bc-otest.ll#7..ll->.bcllvm-astest.ll-otest.bc#8.多bc合并为一个bcllvm-linktest1.bctest2.bc-otest.bc

       上面列出了一部分Clang不同文件直接转换的命令（和第 1 部分的 示意图 序号匹配，还是只关心前端部分）。只是最后增加了一个将多个 bc 合并为一个 bc file 的命令。

3. 查看Clang AST结构

       我们可以通过如下的命令查看源码的AST结构：

clang-Xclang-ast-dump-ctest.c

       打印出来的AST信息，其实是预处理之后展开的源码信息，源码的AST内容在打印出来的内容的最下面。

       如下面的杨幂视频源码代码：

#include<stdio.h>intmain(){ printf("hello");return0;}

       打印出来的部分AST（仅根当前文件内容匹配部分）如下：

       头上的头文件引用等已经展开，没有了，但是下面的 main 函数定义，则如上面的 FunctionDecl 所示，并且给出了 代码中的位置。这里就不详细分析AST的结构了，写几个例子比对一下就很容易理解。

4. 编译正确性的影响因素

       当前，很多静态代码分析工具，都采用 Clang 和 LLVM 作为底座来开发静态代码分析工具。Clang自己也有 clang-tidy 工具可以用来做 C/C++ 语言的静态代码分析。为了能够用 Clang 和 LLVM 来成功分析 C/C++ 代码，需要考虑如何成功使用 Clang 和 LLVM 来编译 C/C++ 代码。可以考虑的是，成功生成 bc file，是静态代码分析的基础操作。

4.1 影响预处理结果的因素

       预处理过程，作用跟名字一样，都可以不当做编译的一个步骤，而是编译的一个预处理操作。我们说得再直白一点儿，其实就是做了一个文本替换的活儿，就是对 C/C++ 代码中的 预处理指令 进行处理。预处理指令很简单，比如 #include，#define 等，都是预处理指令（可以参考：/en-us/cpp/preprocessor/preprocessor-directives?view=msvc-，或者google下，很多介绍的）。

       如果程序中没有预处理指令，即使我们随便瞎写的代码，预处理也一般不会有问题，如下的代码（main.c）：

abcdef

       我们仍然可以正确得到 预处理结果：

#1"main.c"#1"<built-in>"1#1"<built-in>"3#"<built-in>"3#1"<commandline>"1#1"<built-in>"2#1"main.c"2abcdef

       为了成功执行预处理执行，很容易理解，就是可以对程序中的所有的 预处理指令 进行处理。比如：

       (1) #include，依赖了一个头文件，我们能不能成功找到这个头文件；

       (2) #define，定义了一个宏，在程序中定义宏的时候，我们能不能准确找到宏（找到，还必须准确）；

       (3) 其他指令。

4.2 影响IR生成因素

       这一步是云展网站源码针对上一步生成的预处理指令，进行解析的操作。这一步才是最关键的，归根结底，我们需要保证一点：使Clang编译器可以正确识别出来代码中内容表示的语法结构，并且接纳这种语法结构！

       举一些简单例子：

       (1) -std 用来指定支持的 C/C++ 标准的，如果我们没有指定，那么就会采用 Clang 默认的标准来编译，就可能导致语法不兼容；

       (2) -Werror=* 等参数，可能将某些能识别的语法，给搞成错误的使用；

       (3) 其他的部分，跟语法识别的参数；

       (4) 还有一部分的语法，可能 Clang 自始至终就没有进行适配，这种就要考虑修改源码了。

4.3 链接相关因素

       在真正编译中，如果链接有问题，那就会失败，但是在静态代码分析中，链接有失败（无法链接）或者错误（不相关的给链接在一起），可能多点儿分析误报或者漏报，一般不会导致分析失败。这类问题，影响的不是中间表示的生成，而是分析结果（影响跨文件的过程间分析，影响对built-in函数的建模等）。

       一般，链接命令的捕获，target信息配置等，会影响这部分的能力。当然，也跟你实现的工具有关（如果实现的工具，就没有跨文件的能力，这部分内容也没啥影响）。

       作者：maijun。

（一）LLVM概述——介绍与安装

       LLVM，全称Low Level Virtual Machine，是一个集成了模块化和可重用编译器技术的开源框架。该项目由Chris Lattner和Vikram Adve在年创立，初衷是为了实现基于SSA的现代编译策略，适用于静态和动态编译，目标语言广泛。LLVM因其高效和灵活性而成为当今最热门的eclopse如何导源码编译器平台，使得开发者有能力构建自定义编译器。

       安装LLVM，有多种途径可供选择。对于Debian/Ubuntu用户，官方提供了安装脚本，只需在源列表中添加相应信息，然后通过apt命令安装。特别地，安装clang编译器时，LLVM库会自动安装，而lldb等其他组件则需单独安装。对于macOS用户，可选择从源代码编译，需确保系统中已安装必要的软件环境，如使用make或ninja构建工具，编译过程会产出在指定目录下的产物。

       需要注意的是，由于编译过程可能涉及多个步骤和依赖，本文可能未涵盖所有细节，如有疏漏之处，欢迎读者指正，作者将深感荣幸。

M1 源码安装fastText的坎坷之路

       在尝试在M1芯片上安装fastText时，用户可能会遇到一些报错。首先，遇到与'-'march=native'相关的错误时，解决方案是将该参数改为'-'mcpu=apple-m1'。这是因为M1芯片的clang编译器支持的CPU类型有限，不适用原生参数。

       第二个挑战是版本问题。确保你的fastText版本已针对M1芯片进行了适当的调整，具体版本信息如图所示，这对于顺利安装至关重要。

       权限问题也可能阻碍安装过程。解决方法是通过长按电源键启动命令行工具，然后输入特定命令以获取必要的权限。具体步骤如下：

       长按电源键，打开命令行工具

       执行相应的命令后，重启设备

       重启完毕后，打开终端并输入必要的安装命令

       按照这些步骤操作后，你应该能够成功编译fastText，完成在M1芯片上的波动率公式源码安装过程。

clang 在 Windows 下的安装教学

       Windows 下安装 Clang 的教程

       在探讨编译器选择的话题时，shenjack 提到使用 Clang（LLVM）作为替代gcc的选择。Clang作为LLVM项目的一部分，提供了C、C++等语言的前端和工具，具有GCC兼容的编译器驱动器clang和与MSVC兼容的clang-cl.exe。可以直接下载源代码进行构建。

       当我们决定采用Clang时，首先访问llvm/release下载LLVM的Windows版本，例如LLVM-xx.x.x-win/.exe。如果网络速度慢，可考虑使用其他方法加速下载。

       安装过程中，双击文件启动安装，可能会遇到Windows的安全提示，但只需忽略并继续。在安装步骤中，不一定要选择创建桌面图标，因为通常不会直接通过桌面启动编译器。确保勾选PATH选项，以便在终端中自动识别Clang。

       根据安装选项，如果是当前用户安装，重启终端；如果是所有用户安装，重启或注销电脑。最后，顺利安装完成。

       但需要注意的是，尽管安装了Clang，由于其在Windows上的功能局限，可能还需安装MSVC和Windows SDK，因为链接器仍然依赖于MSVC。在Nuitka中使用Clang时，只需将--mingw替换为--clang，并添加--msvc=latest参数。

2.在Ubuntu安装 CARLA 的详细教程

       CARLA在Ubuntu系统上的源码构建安装教程

       当前CARLA版本更新至0.9.，本文将针对最新版本的安装过程进行详细阐述。不同版本的安装方法基本一致，但某些细微差异需要在具体版本的安装教程中关注。

       Linux环境搭建

       在开始之前，确保您的Ubuntu系统满足以下要求：

       系统版本

       软件依赖

       请使用相同的编译器版本和C++ runtime library来编译所有内容，CARLA团队推荐使用clang-8或Ubuntu .的clang-与LLVM的libc++。更改默认编译器可能会导致兼容性问题。

       使用pip或pip3安装CARLA Python API，需要版本.3或更高。检查当前Python版本是否符合要求。

       Python依赖项包括：

       Unreal Engine

       从0.9.版本开始，CARLA使用了Unreal Engine 4.的特定版本。下载此分支需关联GitHub账户。以下步骤指导您完成账户连接和Unreal Engine的安装：

       GitHub与Unreal Engine连接操作指南

       注册GitHub账号（如有已有跳过）

       登录Unreal Engine账户并打开仪表板

       在仪表板中选择“连接”选项卡，然后选择GitHub图标下方的连接按钮

       完成OAuth授权过程，授权EpicGames应用

       接受邮件邀请或点击链接完成账户链接

       Unreal Engine安装

       使用git clone命令下载Unreal Engine 4.分支内容

       切换目录至UnrealEngine_4.

       执行编译操作，这可能需要一两个小时

       使用UE4Editor打开编辑器以检查安装状态

       编译CARLA

       使用sudo apt-get install aria2加速下载过程

       克隆CARLA仓库

       获取assets，使用特定脚本自动执行此操作

       对于特定版本的资产下载，参考Util/ContentVersions.txt文件

       更新CARLA至所需版本

       配置Unreal Engine环境变量

       编译Python API客户端与服务器

       启动仿真

       执行`make PythonAPI`命令编译Python API客户端，`make launch`启动服务器。

       在城镇中开始模拟，使用WASD键控制相机移动和旋转，测试模拟器与PythonAPI\examples目录中的示例脚本进行互动。

       常见安装问题解决方案

       遇到问题时，查阅FAQ或在CARLA论坛上提问。常见问题及解决方案包括：

       libobjc-5-dev冲突问题

       git clone过程中出现RPC错误

       Unreal Engine启动错误

       编译CARLA客户端时遇到错误

       xerces-c库版本不匹配

       遵循上述指南及解决办法，您应能顺利在Ubuntu系统上安装CARLA。

clang挂了，探寻Illegal instruction: 4背后的秘密

       在探索iOS上的项目编译过程时，我遇到了一系列挑战，其中非法指令（Illegal instruction: 4）的问题尤为奇特。这一问题出现在尝试编译C++程序时，而解决它需要深入理解iOS的系统架构和开发环境。

       通过不同越狱手段的尝试，我最终选择了unc0ver，并解决了之前遇到的局域网内ping延迟问题，通过imobiledevice进行USB端口映射，使有线连接变得流畅。安装了clang之后，我发现需要额外安装iOS的SDK，例如通过Theos进行安装，但遇到了路径配置问题。我将theos installer下载的SDK通过软链接的方式与默认目录关联，并通过`-miphoneos-version-min`参数指定目标SDK版本，如.4。

       然而，尽管我安装的clang默认只支持到版本7.0，而需要支持的thread_local功能则要求版本9.0以上。为了方便，我以root身份登录，并在`/var/root`目录下执行编译。这种操作导致了`dyld: Library not loaded file system sandbox blocked mmap()`的错误，原因是权限问题。将项目移动到其他位置，如`/Application/xxx.app`下，可以解决此问题。

       当编译到某个项目时，我遭遇了`Illegal instruction: 4`的错误，这让我感到困惑。搜索后得知，修改优化等级可能会解决此问题，然而我正在进行的是`-O0`的debug版本编译。进一步分析发现，问题实际是`EXC_BAD_ACCESS`和`KERNEL_PROTECTION_FAILURE`，表明存在访存越界的问题。尽管存在一些混淆，但最终通过`lldb`调试器找到了关键线索。

       在`lldb`内运行`clang`并捕获到了异常，显示报错的指令是将`x6`寄存器的数据写入栈指针`sp`加上`0x`的位置。由于栈指针与栈空间相关，这可能表示出现了栈溢出的情况。通过查看调用栈，我注意到有层调用，这通常意味着函数调用链过长。仔细分析调用栈显示了一个明显的模式，这让我怀疑是由于循环过深导致的栈溢出，而不是编译器本身的bug。

       尽管`lldb`提供了调用函数的列表，但没有完整的调试符号，使得访问局部变量和函数参数变得困难。为了进一步解决问题，我尝试理解递归部分的函数作用，并查阅了`clang::SourceLocation`的定义。但发现`SourceLocation`仅包含一个`uint`，缺少源代码位置的具体信息。不过，通过分析调用栈和函数签名，我注意到一些参数可能与栈位置有关。这提示我可能需要更深入地研究clang前端，以了解具体的逻辑和操作过程。

       最终，通过对项目进行优化，如通过数组实现`PARSE_PACK`代替变参模板，成功解决了非法指令问题。数据量过大导致的编译器资源消耗过重，以及iOS默认的栈大小限制，是问题的关键所在。通过调整代码结构和优化资源使用，我解决了非法指令问题，确保了项目的正常编译。

gcc && clang trunk 版本的构建

       在最近的编译器测试工作中，我决定尝试构建gcc和clang的trunk版本，以满足老板的要求。trunk版通常指的是开发分支的最新代码，但具体名称由各项目团队自定。

       GCC的安装过程

       gcc trunk版的构建需要从GitHub克隆源代码并手动编译，过程相对复杂。初始尝试时，我遇到了RPC失败的错误，可能是网络问题或缓存不足。解决方法包括增加缓存和检查网络。我最终选择直接从压缩文件中解压，虽然不清楚原因，但这种方法似乎奏效了。

       前置准备和配置

       确保所有依赖项提前安装，尤其是编译前。配置时，设置--prefix安装路径，并参考相关文档。编译过程中，可能需要多线程加速。

       Clang的安装

       与gcc相比，clang的安装更为简单，官方教程提供了清晰的指引。在Ubuntu系统中，我通过添加apt源并下载编译包遇到“public key not available”问题，解决方法是添加缺失的公共钥。

       安装成功后，每次使用新编译器前，确保将其路径添加到PATH环境变量的首位，以确保所有依赖都来自新编译器。

Clang概述

       LLVM项目的一个子项目，基于LLVM架构的C/C++/Objective-C编译器前端

       Clang将C/C++/Object-C源码转换成LLVM IR，指令选择将LLVM IR转换成Selection DAG node（SDNode），指令调度将SDNode转换成MachineInstr，代码输出将MachineInstr转换成MCInst。

       Clang的两层含义：自动调用后端程序包括预处理（preprocessing），编译（compiling），链接（linking）并生成可执行程序，将C/C++/Object-C源码编译成LLVM IR。

       Compiler Driver本质是调度管理程序，Clang Driver划分成五个阶段：Parse、Pipeline、Bind、Translation、Execute。其执行过程大致如下：Driver::ExecuteCompilation -> Compilation::ExecuteJobs -> Compilation::ExecuteCommand-> Command::Execute -> llvm::sys::ExecuteAndWait。其执行过程调用相关操作系统，执行其系统相关的执行程序，并等待执行过程完成。

       Clang的核心组件包括Tokens、抽象语法树（AST）、语法分析、递归下降、Precedence Climbing算法等。Tokens是通过词法分析产生的单词记号，词法分析在预处理过程中初始化。抽象语法树（AST）是语法分析的输出，表示源代码语法结构的抽象表示。递归下降解析中缀表达式语法一般有两个问题，Precedence Climbing算法的主要思想是将表达式视为一堆嵌套的子表达式，其中每个子表达式都具有其包含的运算符的最低优先级。

       Clang的入口位于tools/driver/driver.cpp中的int main(int Argc, const char **Argv)函数，如果程序第一个参数是-cc1则直接执行函数static int ExecuteCC1Tool(SmallVectorImpl &ArgV)，此时为前端模式，直接执行cc1_main或cc1as_mian;执行完毕后程序退出；如果不是-cc1，则进行相关命令解释，生成相容的命令行，由int Driver::ExecuteCompilation(Compilation &C,SmallVectorImpl> &FailingCommands)执行相容的命令行。

       Clang通过Action完成具体的操作，CompilerInstance是一个编译器实例，综合了一个 Compiler 需要的 objects，如 Preprocessor，ASTContext，DiagnosticsEngine，TargetInfo 等。CompilerInvocation为编译器执行提供各种参数，它综合了TargetOptions、DiagnosticOptions、HeaderSearchOptions、CodeGenOptions、DependencyOutputOptions、FileSystemOptions、PreprocessorOutputOptions等各种参数。FrontendAction::ExecuteAction()是一个纯虚函数，通过继承这个方法来实现具体的Front End Action，Clang还提供了几个继承子类 ASTFrontendAction，PluginASTAction，PreprocessorFrontendAction。 Action及其派生的Action定义如下，大多数Front end Action都继承ASTFrontendAction，每一个ASTFrontendAction都会创建一个或者多个ASTConsumer，ASTConsumer也是一个纯虚类，通过继承ASTConsumer去实现特定的AST Consumer。

       ASTConsumer中可以重载下面两个函数：HandleTopLevelDecl()解析顶级的声明（像全局变量，函数定义等）的时候被调用；HandleTranslationUnit()在整个文件都解析完后会被调用。大概流程如下：初始化CompilerInstance之后，调用其成员函数ExcutionAction, ExcutionAction会间接依次调用FrontendAction的6个成员函数（直接调用的是FrontendAction的三个public 接口，BeginSourceFile，Execute，EndSourceFile），而FrontendAction的ExecuteAction会最终调用语法分析函数ParseAST(未强制要求ParseAST放入ExcuteAction，但ASTFrontendAction如此)。 ParseAST在分析过程中，又会插入ASTConsumer的多个句柄（用得最多是HandleTopLevelDecl和 HandleTranslationUnit）。

       Clang的Parser是通过void clang::ParseAST(Sema &S, bool PrintStats, bool SkipFunctionBodies)执行的，ParseAST()函数对个top level decleration（包括变量和函数）调用parser解析得到一颗正确的语法树。Clang使用递归下降（recursive-decent）的语法分析，具体来说，采用的是基于中缀表达式分析的precedence climbing算法。

       Clang的Parser（lib/Parse和lib/AST）是通过void clang::ParseAST(Sema &S, bool PrintStats, bool SkipFunctionBodies)执行的，ParseAST()函数对个top level decleration（包括变量和函数）调用parser解析得到一颗正确的语法树。