Sibuna 之书 1.0.0-beta.3 文档
语言: 简体中文
English简体中文한국어日本語EspañolDeutschहिन्दीالعربية
本页内容

第 VIII 部分:实证评估

我们给出由已提交的测量工具记录的 Sibuna 测量结果:原语延迟;在外部负载生成器下运行的完整产品,并统计 CPU 和内存;开环生成器在相同施加负载下测得的延迟;以及与 Anubis(一种广泛部署的工作量证明网关)的比较。一次运行八个实时仪表板的控制台测试补全了这份记录。本部分的每个数字都来自一个已提交的结果文件(每张表都注明了该文件及其生成时间),或者来自一份设计记录。功能性通过与性能测量回答的是不同的问题,在一台主机上测得的结果也不能作为另一台主机上的排名。

方法

这些测量工具是同一个 Rust 工具 tools/bench(可执行文件 sibuna-bench)的若干命令,通过 cargo xtask bench 运行。另一个工具记录控制台的运行。

表 11 测量工具及其结果文件,均位于 benchmarks/results/ 下
测量工具 测量内容 结果文件
cargo xtask bench primitives 十六个原语工作负载,外加针对哈希速率限制器路径的两行,在一个 CPU 上运行:七个批次,给出每次操作的中位数及最小-最大离散范围 primitives-latest.json, primitives-latest.md
cargo xtask bench product 在 wrk 下运行的完整守护进程:Gate 和 Shield 在 forward-auth 和反向代理模式下的吞吐量、延迟百分位、每请求 CPU 时间和峰值常驻内存 product-latest.json, product-latest.md
cargo xtask bench latency 开环生成器在固定施加速率下测得的已准入请求的延迟百分位 latency-latest.json, latency-latest.md
cargo xtask bench product --anubis 把 Anubis 作为另一个产品加入的完整产品工作负载,以 caddy respond 为源站 comparison-latest.json, comparison-latest.md
cargo xtask bench admission --anubis 在 forward-auth 模式下,由两个 keep-alive 客户端测得的 Sibuna 和 Anubis 每秒准入操作数 admission-latest.json, admission-latest.md
sibuna-browser dashboards (tools/browser) 一次功能性的控制台运行:生成器发送流量时,在无头 Chromium 中运行八个实时仪表板 console-8-dashboards-2026-10-15.md

.md 文件是摘要。.json 文件保存每次重复、机器、修订版本,以及每个被测可执行文件的路径、大小和 SHA-256。Git 保存了历史,因此该目录只保留最新的文件。有些文件是由较早版本的测量工具记录的,其中还包含同一次运行中测得的另一个守护进程构建的数据行;本部分报告 Sibuna 的数据行。

原语

每个工作负载在一次不计时的预热(最多 1,000 次操作)之后,运行七个计时批次。可变状态(已用集合、速率限制器)在每个批次之前、在计时之外重建。计时器包围整个批次,从不包围单次操作:每次操作读取一次时钟的成本,会与它要测量的不到 100 ns 的工作一样大。因此不报告每次操作的百分位,离散范围是跨批次的。我们报告每次操作的批次中位数,旁边列出最快和最慢的批次。

测试套件在一个绑定到单个 CPU 的子进程(sibuna-bench primitives-run)中运行。在共享主机上,繁忙的 SMT 兄弟线程或较低的时钟频率会拖慢整轮测试,因此工具把套件运行三次(--rounds),并为每一行保留中位数最低的那一轮。每一轮内部的统计方法同上。

完整产品

对于每种模式(forward auth、反向代理)和每种形态(Gate、Shield),测量工具以 --algorithm hashcash --difficulty 8 --rate-limit 100000000 --idle-timeout 5 和四个 worker(其 CPU 集合中每个 CPU 一个)在内存模式下启动守护进程。它像浏览器那样,用 sibuna-pow 求解守护进程的 Hashcash 挑战来获得会话。然后,它用 wrk 通过 keep-alive 连接驱动四种工作负载:2 个线程,64 个连接,5 秒,重复 3 次。

  • admitted:带有效会话 Cookie 的 GET /private。在反向代理模式下,请求到达源站,其应答被中继回来;在 forward-auth 模式下,由守护进程自己回答 200。
  • challenged:同样的请求,但没有 Cookie,并使用浏览器 User-Agent。守护进程提供挑战:反向代理模式下是带 HTML 的 200,forward-auth 模式下是 401。
  • allowed_static:来自 curl/8.0 的 GET /robots.txt,两种形态都会在不挑战的情况下准入它。
  • attack:一个有效会话加上 q=' OR 1=1--。只有 Shield 拒绝它(403)。Gate 准入它,并在反向代理模式下把它中继到源站。

源站是一个桩程序(sibuna-bench origin):只使用标准库,每个连接一个线程,keep-alive,返回一个 41 字节的页面。每请求 CPU 时间是守护进程在整个运行期间来自 /proc/<pid>/stat 的用户态加内核态时间(以 10 ms 为一个时钟滴答),除以 wrk 统计的请求数;不包括源站的 CPU。峰值内存是 /proc/<pid>/status 中的 VmHWM,每次运行之前通过 /proc/<pid>/clear_refs 重置,使每次运行报告各自的峰值。每个数字都是各次重复的中位数,最小值和最大值保存在 JSON 文件中与之并列。

wrk 是一个闭环生成器:它始终保持 64 个请求在途。因此,越快的守护进程收到的请求越多,而 wrk 的百分位遗漏了它在等待慢应答期间没有发送的请求(协同遗漏)。它的 p99 反映的是守护进程在自身饱和时的表现,而不是在给定负载下的延迟。延迟测量工具回答的是后一个问题。

相同负载下的延迟

开环生成器(sibuna-bench generate)为每个连接运行一个阻塞线程。64 个连接中的每一个都按固定的时间表发送带会话的 GET /private:一个连接的第 \(k\) 个请求在 \(t_0 + o + kT\) 时刻到期,其中 \(o\) 是该连接的偏移量,\(T\) 是它的间隔,与之前的应答无关。当应答在下一个请求到期之后才到达时,下一个请求立即发出,其延迟从它的到期时刻开始计算,与 wrk2 的做法相同。当连接在到期时刻处于空闲状态时,延迟从实际发送时刻开始计算,因此生成器自身睡眠过头的时间不会算到守护进程头上。

一条时间线,到期时刻为 0、T、2T、3T 和 4T,共四个请求。请求 0 和 3 在到期时发出,很快得到应答。请求 1 在 T 时发出,2T 之后才得到应答。请求 2 在 2T 到期,一直等到该应答到达后才发出;它的记录延迟从 2T 开始计算。
图 10 开环生成器的一个连接。请求 1 在请求 2 到期之后才得到应答,因此请求 2 立即发出,其延迟从 2T 开始计算;请求 3 到期时连接处于空闲状态,从它的发送时刻开始计算。

测量工具运行 Shield 形态和已准入工作负载,施加五种速率:每秒 10,000、25,000、50,000、100,000 和 150,000 个请求,每种速率预热 2 秒,测量 10 秒,运行 3 次。测量工具可以在一次运行中测量两个守护进程构建:此时它把两者启动在同一个 CPU 集合上,并在每种速率和每次重复之间交替运行,空闲的那个不占用 CPU,从而让机器的缓慢漂移对两者产生相同的影响。记录的这次运行就是这样做的。百分位按最近秩法在一次运行的所有被测请求上计算;每个数字是三次运行的中位数,旁边列出 p99 的最小-最大范围。

CPU 集合

CPU 集合比任何其他设置都更重要。守护进程运行在 CPU 0 到 3 上(--cpus;--workers 等于该集合的大小)。wrk、延迟生成器和源站运行在 CPU 8 到 15 上(--load-cpus)。原语测试套件运行在 CPU 4 上(--cpu)。每个进程在启动之前用 taskset -c 绑定,因此它创建的每个线程都继承该集合。准入测量工具为产品使用 0 和 1 两个 CPU,为其客户端使用 CPU 8 到 15。

两行,每行八个核心。在 CCD 0 中,核心 0 到 3 运行守护进程(--cpus 0-3),核心 4 运行原语测试套件(--cpu 4),核心 5 到 7 未分配。在 CCD 1 中,核心 8 到 15 运行 wrk、延迟生成器和源站(--load-cpus 8-15)。每个核心的 SMT 兄弟线程,即 CPU 16 到 31,都不使用。
图 11 AMD Ryzen 9 5950X 上的 CPU 集合。CPU 0 到 7 是第一个 CCD 的八个核心,8 到 15 是第二个 CCD 的核心,16 到 31 是它们的 SMT 兄弟线程。守护进程和负载生成器从不共享核心。

在其他机器上,我们选择不共享核心的集合(lscpu -e 显示拓扑)。

机器与条件

这些文件记录于 paxos-zig:一台 AMD Ryzen 9 5950X 16 核处理器(32 个逻辑 CPU),Linux 7.0.0-28-generic x86_64,powersave 调频策略并启用 boost,rustc 1.99.0。原语、产品和延迟文件记录于 2026 年 10 月 15 日,与 Anubis 的比较记录于 2026 年 10 月 16 日。守护进程是 cargo build --release -p sibuna,即编译了 SQLite 存储和控制台的默认构建(SID 0010);产品和延迟文件注明的可执行文件大小为 49,113,856 字节。每个文件都记录了其修订版本(原语为 efce14d,产品和延迟运行为 249d913),并带有 dirty: true;后者的工作树中已经包含 SID 0002 所记录的连接线程复用,SID 0002 引用 latency-latest.md 说明其效果。比较和准入文件注明修订版本 54e4ec5 并带有 dirty: true,因为工作树中包含 tools/bench 里新增的测量工具代码;它们的守护进程是该修订版本的 release 构建(37,450,232 字节)。比较运行之前的一分钟平均负载为 3.53,准入运行结束时为 0.56。

文件记录的一分钟平均负载为:原语运行时 2.46,延迟运行之前 1.30、之后 52.31,产品运行之前 52.31、之后 33.39。较高的数字来自延迟生成器的 64 个线程,产品运行紧接其后。

如何复现

我们需要 Linux、taskset(util-linux),以及 PATH 中的 wrk。

cargo xtask bench primitives
cargo xtask bench product
cargo xtask bench latency
cargo xtask bench help

cargo xtask bench 先用 cargo build --release -p sibuna 构建守护进程,然后以 release 模式运行 sibuna-bench。工具在它自己的可执行文件旁边寻找守护进程;--rust <path> 可以覆盖这一位置。cargo xtask bench help 列出所有选项,其中包括 --cpus、--load-cpus、--cpu、--rounds、--repetitions、--seconds、--rates 和 --warmup。下面关于 Anubis 的一节给出了记录那次比较所用的命令。

原语延迟

下表给出原语运行的每一行。JSON 文件按子系统和工作负载命名每一行(例如 pow_verify 和 hashcash_16_bits)。

表 12 在一个 Ryzen 9 5950X 核心上测得的原语耗时,单位为每次操作纳秒(benchmarks/results/primitives-latest.md,生成于 2026-10-15T22:34:59Z)
工作负载 ns/op 最小-最大
Hashcash 验证(16 比特) 70.2 69.9-71.0
PoSW 验证(深度 13,t = 16) 22272.4 22257.0-22316.4
机器人签名(40 个,Aho-Corasick) 55.7 55.3-57.2
机器人签名(40 个,顺序搜索) 763.0 762.2-763.5
IPv4 CIDR 查找 32.0 31.8-32.2
IPv6 CIDR 查找 79.3 78.5-79.6
会话令牌(带密钥 BLAKE3) 155.8 155.3-156.4
会话令牌(Ed25519) 40587.5 40544.6-40631.1
已用集合(Robin Hood),写入并查找 21.0 20.8-21.3
速率限制器(GCRA),客户端字节 12.8 12.7-12.8
速率限制器,四个规则作用域,客户端字节 13.1 13.0-13.2
速率限制器(GCRA),已哈希的客户端 6.2 6.1-6.3
速率限制器,四个规则作用域,已哈希的客户端 6.3 6.2-6.4
HTTP 解析与 Cookie 132.5 132.3-133.2
分类,Shield 配置 790.8 787.2-793.1
分类,Gate 配置 75.9 75.6-76.1
WAF 请求体扫描(8 KiB) 12784.3 12771.5-12809.2
WAF 请求体扫描(8 KiB),SQL 注入为审计模式 15485.4 15460.9-15530.1

离散范围很窄:任何一行中的任何批次与该行中位数的偏差都不超过 2.8%。图中以对数刻度展示同样的各行,使 6 ns 和 40 us 的行能够并排阅读。

上表的条形图,采用从 1 ns 到 100 us 的对数刻度,按组着色:工作量证明、匹配、令牌、状态和请求路径。速率限制器各行的条形最短,为 6.2 到 13.1 ns;Ed25519 令牌验证最长,为 40.6 us。
图 12 以对数刻度绘制的原语耗时,数据取自 benchmarks/results/primitives-latest.json。

工作量证明验证

Hashcash 验证对一个挑战、一个分隔符和一个十进制 nonce 做哈希:70.2 ns。顺序工作量验证器检查图的揭示:22,272.4 ns。由于输入长度不同,它的哈希调用次数和 SHA-256 压缩次数与 Hashcash 不同。两行都受 SHA-256 的限制,sibuna-crypto 在 CPU 支持时使用 SHA-NI 指令,在运行时检测(SID 0010)。

匹配

稠密 Aho-Corasick 自动机和顺序子串搜索使用相同的模式和“任一匹配”语义。在同样的 40 个签名上,自动机比顺序搜索快 13.7 倍(55.7 ns 对 763.0 ns)。它的表使用字节类,而不是每个状态 256 列(SID 0006,F 部分),这使机器人签名表保持在 42,244 字节(见下面的占用表)。CIDR 分类器耗时 32.0 ns(IPv4)和 79.3 ns(IPv6)。

令牌

BLAKE3 MAC 令牌的验证耗时 155.8 ns。sibuna-crypto 以可移植的方式实现 BLAKE3,没有 SIMD 路径;SIMD 路径在大输入上占优,但 Sibuna 用 BLAKE3 处理的输入都不到 100 字节,在这种输入上可移植代码已经很快。Ed25519 紧凑令牌的验证耗时 40,587.5 ns:验证器使用宽度为 5 和 8 的 NAF 数字,并保留解码后的公钥。一次 Ed25519 验证的成本约等于 260 次 MAC 验证;MAC 是 Sibuna 的默认令牌方案。

状态

已用集合这一行插入一个新标签并再次查找它:21.0 ns。这一行中的表有 16 个分片,每个分片 4,096 个槽(65,536 个标签;守护进程的默认值是 1,048,576),并在每个批次之前、在计时之外原地清空。因此每个批次探测的都是常驻内存。测试套件的早期版本为每个批次构建一张守护进程默认大小、全新清零的表;它测到的是内核在首次写入时映射表页面的成本,而运行中的守护进程只付出一次这种成本,所以这不是我们报告的那一行。

速率限制器的几行需要仔细解读。客户端字节的两行(gcra_check 和 gcra_four_rule_scopes)调用字节 API:每次检查以字节形式接收客户端地址,先用一个取自操作系统随机源的密钥计算它的带密钥 SipHash-1-3。密钥使任何人都无法计算出与受害者共享探测窗口的地址(见 SID 0010 和 sibuna-store 的文档)。这两行耗时 12.8 ns 和 13.1 ns。

守护进程在请求路径上不使用字节 API。它每个请求只对客户端做一次哈希(ClientHasher),并把哈希值传给它查询的每张表。已哈希客户端的两行(gcra_check_hashed 和 gcra_four_rule_scopes_hashed)测量的就是这条路径,哈希值在循环之前计算:每次检查 6.2 ns 和 6.3 ns。字节行与已哈希行中位数之间 6.6 ns 的差距,大约就是在这些输入上计算带密钥哈希的代价,守护进程每个请求只付一次,而不是每张表付一次。

HTTP 解析器

解析器这一行解析一个 400 字节的浏览器请求并查找一个 Cookie:132.5 ns。该 crate 自己的计时测试结果与之一致(crates/http:在同一台机器上约 135 到 180 ns)。解析器是零拷贝的;每个字段都是连接缓冲区的一个切片。

策略引擎

对一个浏览器请求进行完整分类耗时 790.8 ns,Gate 配置耗时 75.9 ns。这几行没有填入请求中已解析的客户端地址,因此引擎在评估过程中解析客户端地址文本。守护进程在评估之前、每个请求只解析一次地址,因此这几行包含了一小部分守护进程在引擎之外付出的成本。引擎的堆表总计 209,052 字节(SID 0002)。

WAF 检查

对 8 KiB 请求体的语义扫描耗时 12,784.3 ns,即每字节 \(12784.3 / 8192 \approx 1.56\) ns。第二行扫描同一个请求体,但 SQL 注入类别为审计模式,其他类别为强制模式:15,485.4 ns。当某个类别为审计而非强制时,每个字段按类别分别检查(SID 0004,“检查模式”)。引擎用签名自动机扫描字段一次,得到出现了签名的类别集合,然后只在其中搜索需要的类别,因此审计一个类别比强制所有类别大约多花五分之一,而不是每个类别各扫描一次。

完整产品比较

表中给出每种形态和工作负载下三次五秒 wrk 运行的中位数。每个工作负载旁边的状态码是测量工具期望并实际收到的应答。

Forward-auth 模式

入口代理询问守护进程是否准入一个请求;没有源站,也没有请求体中继,因此这是对准入成本最纯粹的测量。

表 13 Forward-auth 模式,Gate 和 Shield;延迟单位为微秒(benchmarks/results/product-latest.md,生成于 2026-10-15T23:15:24Z)
形态 工作负载(状态码) req/s p50 p90 p99 CPU us/请求 峰值 RSS KiB
Gate admitted (200) 211,345 151 175 305 11.84 15912
Gate challenged (401) 198,315 160 180 326 13.15 16176
Gate allowed_static (200) 211,053 152 175 305 11.73 16176
Gate attack (200) 211,618 151 176 305 11.84 16176
Shield admitted (200) 208,101 152 178 308 12.87 15928
Shield challenged (401) 197,532 161 183 327 13.77 16192
Shield allowed_static (200) 211,636 151 175 305 11.78 16192
Shield attack (403) 210,549 152 175 307 12.32 16192

在 forward-auth 模式下,守护进程不是瓶颈。它的忙碌核心数(CPU 时间除以实际时间,即 JSON 文件中的 cores_busy_median)保持在四个守护进程 CPU 中的 2.47 到 2.72 之间,每一行都在每秒 197,532 到 211,636 个请求之间。这表明上限来自负载生成器。在这个上限附近,行与行之间几个百分点的差异会随运行而变化:仅 Gate 的 admitted 这一行,三次运行就从每秒 205,151 到 211,513 个请求不等。在这种模式下更有用的数字是每请求 CPU 时间:11.73 到 13.77 us,Shield 比 Gate 略多,challenged 各行最多,因为它们要渲染挑战应答。

反向代理模式

守护进程位于桩源站之前,中继已准入的请求和响应。因此,经代理的各行包含源站自身的成本和一次额外的回环跳转。

表 14 反向代理模式,Gate 和 Shield;延迟单位为微秒(benchmarks/results/product-latest.md,生成于 2026-10-15T23:15:24Z)
形态 工作负载(状态码) req/s p50 p90 p99 CPU us/请求 峰值 RSS KiB
Gate admitted (200) 142,498 427 548 768 27.68 15896
Gate challenged (200) 199,465 160 181 324 12.98 16160
Gate allowed_static (200) 147,303 411 541 759 26.88 16324
Gate attack (200) 143,900 422 555 745 27.67 16348
Shield admitted (200) 138,965 438 571 857 28.57 16064
Shield challenged (200) 195,188 162 185 328 13.73 16328
Shield allowed_static (200) 145,673 415 551 746 27.27 16328
Shield attack (403) 209,507 151 177 306 12.17 16328

这里经代理的各行(admitted、allowed_static,以及由 Gate 中继的 Gate attack 行)受 CPU 限制:忙碌核心数为四个中的 3.96 到 3.98。它们每秒处理 138,965 到 147,303 个请求,每请求 CPU 时间为 26.88 到 28.57 us,约为守护进程自己作答时的两倍。challenged 各行和 Shield 的 attack 行由守护进程自己作答,看起来与 forward-auth 的各行相似。在饱和状态下,wrk 的 p99 是守护进程以自身速率运行时调度器的尾部,因此我们改为解读下一章的尾延迟。

在三个反向代理行中,wrk 统计到了不应出现的 2xx 和 3xx 以外的响应:三次运行合计,2,162,579 个请求中有 3 个(Gate attack),2,082,640 个中有 1 个(Shield admitted),2,204,358 个中有 1 个(Shield allowed_static)。文件没有记录这些响应的状态码。带守护进程指标复现这次运行后发现,它们是计入 sibuna_overloaded_total 的 503 应答:wrk 从一个地址打开它的 64 个连接,恰好等于默认的 --max-connections-per-ip;当一个连接在第 4,096 个请求之后被关闭时,wrk 在旧连接归还名额之前就重新连接了。守护进程现在会在写出关闭响应之前归还名额(SID 0002,“缺陷修复”);这些表格的数据早于该修复。

资源占用

表 15 守护进程的大小和常驻内存(benchmarks/results/product-latest.json,生成于 2026-10-15T23:15:24Z;primitives-latest.json,生成于 2026-10-15T22:34:59Z)
指标 数值
守护进程可执行文件 49,113,856 字节
空闲常驻内存,产品运行 5,592 到 5,788 KiB
工作负载期间的峰值常驻内存 15,896 到 16,348 KiB
工作负载之后的常驻内存 16,176 到 16,348 KiB
空闲常驻内存,原语运行 6,052 KiB
策略引擎表 209,052 字节(堆)
机器人签名表 42,244 字节(堆)
WAF 表 164,908 字节(堆)
浏览器求解器模块(WebAssembly) 14,744 字节

范围取自四次产品运行(两种模式、两种形态),峰值则取自它们的十六个工作负载。表的大小是引擎报告的堆大小。记录没有细分可执行文件的大小构成。

相同施加负载下的延迟

两张表都来自 cargo xtask bench latency 的同一次运行。错误列统计生成器的连接、I/O 和分帧错误。

表 16 Forward-auth 模式,Shield,固定施加速率下的已准入请求;延迟单位为微秒(benchmarks/results/latency-latest.md,生成于 2026-10-15T23:07:14Z)
施加 req/s 实际 req/s p50 p90 p99(最小-最大) p99.9 最大值 错误 CPU us/请求
10,000 10,000 30 32 37 (36-39) 58 355 0 16.92
25,000 25,000 28 31 34 (32-34) 45 1035 0 15.83
50,000 50,000 25 27 30 (30-30) 40 3029 0 13.83
100,000 99,998 24 26 41 (40-42) 62 2358 0 13.48
150,000 149,996 25 36 51 (51-52) 74 1753 0 14.16
表 17 反向代理模式,Shield,固定施加速率下的已准入请求;延迟单位为微秒(benchmarks/results/latency-latest.md,生成于 2026-10-15T23:07:14Z)
施加 req/s 实际 req/s p50 p90 p99(最小-最大) p99.9 最大值 错误 CPU us/请求
10,000 10,000 56 61 65 (65-66) 76 555 0 32.25
25,000 25,000 51 54 58 (58-60) 72 1105 0 28.63
50,000 50,000 47 50 60 (58-66) 74 3066 0 27.45
100,000 99,996 55 75 100 (100-104) 150 2239 0 28.42
150,000 134,344 583934 1544160 1906273 (1631234-2218760) 1967134 1989964 4 29.22

在 forward-auth 模式下,每种速率的 p50 都保持在 24 到 30 us 之间。直到每秒 150,000 个请求,p99 都不超过 51 us,p99.9 不超过 74 us。守护进程每请求消耗 13.48 到 16.92 us 的 CPU 时间。

在反向代理模式下,直到每秒 100,000 个请求,p50 为 47 到 56 us;在每秒 100,000 个请求时,p99 为 100 us,p99.9 为 150 us。在每秒 150,000 个请求时,守护进程达到饱和:它每秒完成 134,344 个请求,延迟增长到秒级,这正是开环测试在超出容量时应当显示的结果。这一速率接近上一章中闭环测得的代理吞吐量(Shield admitted 为每秒 138,965 个请求)。该行的四个错误发生在过载期间。

在饱和之前,p99 的离散范围很窄;最宽的是每秒 50,000 个请求时反向代理的 p99,为 58 到 66 us。最大值列是一次运行中多达 150 万个请求里的一个。在共享主机上,我们把它解读为主机最糟糕的时刻,而不是守护进程的性质。

测量带来的改变

外部负载改变了 Sibuna 的设计。守护进程在独立的线程上服务每个连接(SID 0002,SID 0010),它最初的几次延迟测量发现了一个 wrk 没有显示出来的尾部。在 64 个连接、每个连接由守护进程在 4,096 个请求后关闭的情况下,每秒 100,000 个已准入请求时的第 99.9 百分位为 0.3 到 2 ms。

SID 0002 和 cmd/sibuna/src/tasks.rs 的文档中记录的诊断结论是线程更替。创建和结束一个线程会映射和解除映射它的信号栈,并归还它的栈页面,而这些地址空间的变化拖住了守护进程的其他线程。一个实验就解决了这个问题:在一个从不关闭连接、因而运行期间不创建任何线程的构建中,相同速率下的结果是 54 到 60 us。修复方法是复用连接线程:完成连接的线程停驻并接手下一个连接,因此持续不断的新连接不会创建线程。停驻 10 秒的线程会结束,并由下一次启动或下一个完成任务的线程 join,因此突发流量不会让它的栈一直驻留。连接发生 panic 的线程会结束,而不是停驻。与之前一样,同时服务的连接最多为 --max-connections 个。

上面的表格来自修复之后的运行:每秒 100,000 个请求时,forward-auth 模式的 p99.9 为 62 us,反向代理模式为 150 us。修复之前的运行没有保留为结果文件,因此它们的数字只出现在 SID 0002 和本节中。

Sibuna 与 Anubis

Techaro 的 Anubis 是一种广泛部署的工作量证明网关,与 Sibuna 的 Gate 一样位于网站之前。我们在同一台主机、同样的 CPU 上,用同样的工作负载,把 Anubis v1.27.0 的官方发布可执行文件(anubis-1.27.0-linux-amd64,40,001,698 字节)与 Sibuna 并列测量。两个结果文件由以下命令记录:

cargo xtask bench product --anubis <path/to/anubis>
cargo xtask bench admission --anubis <path/to/anubis>

Anubis 的启动方式与本项目早期的 Python 驱动程序相同:--bind、--metrics-bind、--target=(forward-auth 模式下为空,反向代理模式下为源站)、--difficulty 2、--slog-level ERROR、--cookie-secure=false,以及一个对每个 Mozilla User-Agent 发起挑战、并停用 DNSBL 和蜜罐的策略。GOMAXPROCS 等于 Sibuna 的 worker 数量,两个产品的每个线程都绑定到同一个 CPU 集合。Hashcash 工作量是对等的:Sibuna 为 8 个零比特,Anubis 为 2 个十六进制零位,期望都是 256 次哈希。测量工具像浏览器那样获取每个产品的会话。对于 Anubis,它获取挑战页面,从 <script id="anubis_challenge"> 中读取挑战,找到使 SHA-256(randomData || nonce) 以 00 开头的 nonce,并连同页面的验证 Cookie 一起把它传给 pass-challenge。在 forward-auth 模式下,admitted 和 challenged 工作负载访问 Anubis 的检查端点(/.within.website/x/cmd/anubis/api/check)。

完整产品工作负载

四种工作负载、负载和统计方法都与完整产品测量工具相同,只有一处改动:源站是绑定到负载 CPU 上的 caddy respond,与早期驱动程序的做法一致。每次运行之前,测量工具都会等待处于 TIME_WAIT 状态的套接字少于 3,000 个,因为 Anubis 的反向代理运行会留下数以万计这样的套接字。

表 18 Forward-auth 模式:三次五秒 wrk 运行的中位数(benchmarks/results/comparison-latest.md,生成于 2026-10-16T00:55:19Z)。
工作负载 指标 Sibuna Gate Sibuna Shield Anubis 1.27.0
admitted req/s(状态码) 210,682 (200) 208,635 (200) 36,509 (200)
p99 us 305 308 7,477
CPU us/请求 12.09 13.21 106.30
峰值 RSS KiB 16,228 16,316 32,624
challenged req/s(状态码) 198,251 (401) 193,087 (401) 113,170 (401)
p99 us 326 342 3,781
CPU us/请求 13.49 15.02 32.96
峰值 RSS KiB 16,240 16,328 32,696
allowed_static req/s(状态码) 212,569 (200) 212,444 (200) 89,904 (200)
p99 us 304 304 4,547
CPU us/请求 11.73 11.95 41.63
峰值 RSS KiB 16,240 16,328 33,396
attack req/s(状态码) 212,086 (200) 211,347 (403) 36,853 (200)
p99 us 305 306 7,283
CPU us/请求 12.07 12.56 104.88
峰值 RSS KiB 16,240 16,328 33,764
表 19 反向代理模式,以 caddy respond 为源站:三次五秒 wrk 运行的中位数(benchmarks/results/comparison-latest.md,生成于 2026-10-16T00:55:19Z)。
工作负载 指标 Sibuna Gate Sibuna Shield Anubis 1.27.0
admitted req/s(状态码) 106,376 (200) 103,298 (200) 19,398 (200)
p99 us 3,331 3,321 11,062
CPU us/请求 27.02 27.92 190.40
峰值 RSS KiB 16,528 16,444 39,980
challenged req/s(状态码) 198,402 (200) 197,327 (200) 28,842 (200)
p99 us 325 328 9,546
CPU us/请求 13.05 13.78 137.73
峰值 RSS KiB 16,544 16,464 516,872
allowed_static req/s(状态码) 105,427 (200) 106,819 (200) 28,862 (200)
p99 us 3,320 3,316 30,124
CPU us/请求 26.24 26.52 135.41
峰值 RSS KiB 16,544 16,464 616,548
attack req/s(状态码) 105,616 (200) 210,483 (403) 23,399 (200)
p99 us 3,327 306 14,124
CPU us/请求 26.98 12.28 169.04
峰值 RSS KiB 16,544 16,464 599,516

在 forward-auth 模式下,Sibuna 每秒处理 193,087 到 212,569 个请求,p99 为 304 到 342 us;Anubis 每秒处理 36,509(admitted)到 113,170(challenged)个请求,p99 为 3,781 到 7,477 us。Sibuna 的忙碌核心数保持在四个中的 2.49 到 2.90 之间,因此上限由负载生成器设定;Anubis 为 3.73 到 3.88,因此 Anubis 受 CPU 限制。最清楚的数字是每请求 CPU 时间:一个已准入请求在 Sibuna Gate 上耗费 12.09 us,在 Anubis 上耗费 106.30 us。这一差异的一部分很可能来自会话令牌。Anubis 默认用 Ed25519 签名会话,而 Sibuna 检查带密钥 BLAKE3 MAC(原语表中为 155.8 ns);下面的准入测量中,HS512 令牌使 Anubis 的会话检查提高了一半以上,这支持了上述解读。

在反向代理模式下,Sibuna 经代理的各行每秒处理 103,298 到 106,819 个请求,忙碌核心数为 2.77 到 2.98。这低于 product-latest.json 中桩源站下的 138,965 到 147,303,而守护进程并未受 CPU 限制,因此上限位于守护进程之外:源站 caddy respond 与 wrk 共享负载 CPU。它的尾部体现在 2.1 到 2.4 ms 的 p90 上。Anubis 每秒处理 19,398 到 28,862 个请求,忙碌核心数为 3.68 到 3.97,每请求 CPU 时间为 135 到 190 us。它的常驻内存从 admitted 工作负载中的 39,980 KiB 增长到 challenged 中的 516,872 KiB 和 allowed_static 中的 616,548 KiB,工作负载结束后仍占用 589,276 KiB,而空闲时为 21,552 KiB。增长始于 challenged,其中每个请求都会收到一个带有自己 ID 的新挑战;这暗示它为每个签发的挑战保存了一条记录,但测量工具没有证实原因。在两种模式的每一行中,Sibuna 的峰值都保持在 16,228 到 16,544 KiB 之间。

还有几行也不是同类比较:

  • 在 forward-auth 模式下,Anubis 自己以 200 回答 /robots.txt 和 attack 路径,不经过源站;Sibuna 则像回答该模式下的任何请求一样回答它们。
  • Anubis 没有请求检查,因此它会准入 attack 工作负载中的 SQL 注入。Shield 在付出更多工作之后以 403 拒绝它;Gate 则像 Anubis 一样准入它。
  • 两个产品签名会话的方式不同(Anubis 默认使用 Ed25519,Sibuna 使用带密钥 BLAKE3 MAC),渲染的挑战页面也不同。

准入操作

准入测量工具在 forward-auth 模式下,为构成准入的四种操作计时,每个产品使用两个 CPU(两个 Sibuna worker,GOMAXPROCS=2)。负载 CPU 上的两个客户端线程各持有一个 keep-alive 连接,共同完成每个批次:200 次操作,验证则为 64 个证明,都在批次开始之前准备好。我们报告七个批次的中位数。

  • 会话检查:带有效会话访问检查端点(200)。
  • 未认证检查:同样的请求,但不带 Cookie(401)。
  • 挑战引导:浏览器为开始一个挑战而获取的内容。对 Sibuna 而言是两个请求,即验证中间页和挑战记录;对 Anubis 而言是一个请求,即内嵌了挑战的页面。
  • 证明验证:每次操作一个新证明。Sibuna 的证明挑战以 25 ms 的间隔签发,低于其自适应难度开始增加比特的每秒 50 次,因此对等的工作量保持不变。Sibuna 以 --challenge-rate-limit 100000000 运行,因此它的限制器会被检查,但永远不会耗尽。

Anubis 运行了两次,一次使用默认的 Ed25519 令牌,一次使用 --hs512-secret。

表 20 每秒准入操作数,两个客户端,产品使用两个 CPU(benchmarks/results/admission-latest.md,生成于 2026-10-16T00:55:44Z)
产品(令牌) 会话检查 未认证检查 挑战引导 证明验证 运行后 RSS,KiB
Sibuna(带密钥 BLAKE3) 88,104 78,997 42,664 57,924 7,792
Anubis 1.27.0(Ed25519) 10,951 28,619 7,893 12,668 33,400
Anubis 1.27.0(HS512) 16,976 27,785 7,952 19,261 29,840

七个批次的范围记录在文件中。Sibuna 的范围在其中位数的 11% 以内;Anubis 的范围更宽(使用 Ed25519 令牌的未认证检查从 25,394 到 32,741 不等),而且一个 200 次操作的批次只持续 2 到 25 ms,因此我们只把这些数字解读到大约十分之一的精度。较慢客户端的每次操作时间给出了往返时间:Sibuna 会话检查为 22.7 us,使用 Ed25519 令牌的 Anubis 检查为 182.5 us,使用 HS512 时为 117.7 us。

在上面任何一行中,Anubis 处理的请求都没有比 Sibuna 多,使用的 CPU 或内存也没有比 Sibuna 少。这只是关于这台主机上这些工作负载的陈述,仅此而已。

控制台开销

SID 0007 规定了控制台的隔离约定。启用控制台最多只能使数据平面的吞吐量降低 1%,使 p99 延迟增加 10%,这需要在一个由配置(编译时排除、编译进来但停用、空闲、八个活动仪表板)和工作负载组成的矩阵上测量,采用多次交错运行并报告不确定度。不确定或噪声过大的运行不能证明达标,原语基线和冒烟测试也不能代替这道门槛。

SID 0010 记录了一次测量:在控制台编译进来但停用、仅启用存储、或启用但空闲的情况下,16 个产品工作负载与不含控制台构建的守护进程相差都在约 1% 以内,处于噪声范围内。该记录没有为此注明结果文件。负载下运行八个活动仪表板的配置尚未测量,因此 SID 0007 的正式门槛仍未完成。

八仪表板运行检验的是功能,而不是开销。sibuna-browser dashboards 在一个 SQLite 节点上启动了一个带控制台的 release 守护进程,配置四个 worker,以及一个放行 /static/*、/about、/missing/* 和 /broken/*、对其他一切发起挑战的策略;一个源站测试桩对 /missing/* 回答 404,对 /broken/* 回答 500。生成器以每秒 200 个请求的速率发送 30 秒,轮流使用十个路径(其中一个是 SQL 注入)、三个 User-Agent 和 500 个转发地址。每个仪表板运行在自己的 Chromium 中,使用自己的会话:仪表板 1 到 3 是管理员会话,仪表板 4 到 8 是用第一个仪表板生成的代码打开的大屏显示,因为控制台对每个地址和每个账户每分钟只允许五次登录。

表 21 一个节点上的八个流量仪表板(benchmarks/results/console-8-dashboards-2026-10-15.md,记录于 2026-10-15,Chromium 155.0.8059.39)。结果:PASS
指标 数值
数据平面请求 30.0 秒内 6,000 个(每秒 200 个,4 个线程,每个请求一个连接)
已应答 6,000: 200 x 1,200, 401 x 3,000, 403 x 600, 404 x 600, 500 x 600
错误(无回复) 0
延迟 p50 / p90 / p99 / 最大值 246 / 311 / 373 / 552 us(含建立连接)
启动时守护进程的 VmRSS 36,152 KiB
打开 8 个仪表板时守护进程的 VmRSS 38,028 KiB
流量结束后守护进程的 VmRSS 41,496 KiB(VmHWM 41,496 KiB)

在流量期间每两秒读取一次各张指标卡片,并在流量结束后 3 秒再读取一次。每个仪表板最终都显示相同的总数(Requests 6,000、Admitted 2,400、Challenged 3,000、Policy denied 600、Origin 4xx 600、Origin 5xx 600),收到 134 到 139 个 stats 增量,保持 WebSocket 打开,并且没有报告任何异常、控制台错误或 Content-Security-Policy 违规。八个浏览器订阅者远低于控制台 64 个的上限。这次运行的守护进程带有 SQLite 存储和控制台,不同于产品测量工具中的内存型守护进程,因此它的常驻内存不能与它们比较。

未测量的内容

表 22 本部分没有测量的内容,以及用来代替测量的依据
对象 这里为什么没有测量 代替的依据
SafeLine 社区版 9.x 只以 Docker Compose 组件栈的形式发布;主机上没有 Docker 守护进程,而检测器镜像也不是可以在那里编译的开源构建 公开发布的、由厂商报告的事实(2026 年 9 月核查):检出率 71.65%(平衡)和 76.17%(严格),误报率 0.07%(平衡)和 0.22%(严格);最低主机要求为带 SSSE3 的 Linux x86_64 或 arm64、1 个 CPU 核心、1 GB 内存、5 GB 磁盘、Docker 20.10.14+ 和 Compose 2.0+
Cloudflare WAF 这是一项托管服务;回环测量测到的将是网络路径,而不是 WAF 公开发布的套餐配额(2026 年 9 月核查):自定义规则 Free 5、Pro 20、Business 100、Enterprise 1000;速率限制规则 Free 1、Pro 2、Business 5、Enterprise 100
负载下的集群 目前还没有测量工具在同一个 PostgreSQL 数据库上驱动多个节点 SID 0011 规定的协议性质(一个共享种子,挑战与签发者绑定)及其三节点功能测试(标准 2);没有测量
请求路径上的存储 在每套测量工具中,两个守护进程都在内存模式下运行 SID 0011:一个存储线程负责所有 SQL,请求路径从不等待它
TLS、广域网、真实浏览器 测量工具使用回环接口和 HTTP;每种情形的会话由 sibuna-pow 求解一次 没有;部署需要测量自己的路径
浏览器求解器的求解时间 测量工具用原生求解器在 8 比特下求解 上面给出的模块大小;第 VII 部分解释了为什么原生耗时不能代表浏览器求解时间
分配次数 测量工具没有对分配器进行插桩 第 V 部分的稳态测试
负载下运行八个活动仪表板时的控制台隔离 SID 0007 的正式门槛测试尚未进行 SID 0010 的数字(控制台空闲时在约 1% 以内)以及上面的功能性运行

这张表中的一行并不是关于该产品性能的结论。SafeLine 自己的数字关注的是检测质量,而不是吞吐量;Cloudflare 公布的是套餐配额,而不是每请求成本。任何拥有 Docker 主机的人都可以在同样的 wrk 工作负载下运行 SafeLine。