一项功能跑了一百次测试,全部通过。报告写“通过率百分之百”可以准确描述这批结果;再加一句“所以故障率低于百分之一”,证据却突然跨了一大步。一次失败都没看到,究竟是系统足够稳定,还是样本还没碰到低概率事件?

在本文明确的模型下,答案是:一百次零失败,对应的单侧百分之九十五故障率上限约为百分之二点九五;若要把这个上限压到百分之一以下,至少需要二百九十九次独立测试,并且仍然零失败。 次数怎么算、测试怎么抽、失败怎样认定,同样影响这句话是否成立。

下面的数值来自实际运行的离线数学脚本。它没有向任何线上服务发请求,也没有替某个产品测出可靠性。把教学模型和系统测量分开,才不会让精确的小数替不成立的前提背书。

先明确:要估计的是哪一种失败概率

设每次测试只得到“失败”或“未失败”两个结果,把失败记为一,未知的单次失败概率记作 p。假设测试次数事先固定,每次独立,而且都从同一个输入与环境分布中抽取,拥有相同的失败概率。失败总数才适合用这里的二项模型描述。二项分布的计数公式及固定概率前提可见 NIST:二项分布。

这里的“故障率”专指一次规定任务失败的概率,不是每小时故障次数,也不是程序里尚未发现的缺陷数量。比如一次任务可以定义为:在指定负载与文件大小范围内完成一次上传,超时或内容校验不一致都算失败。这是定义测试口径的示例,本文没有做上传测试。

如果一百次全是同一份小文件,而你想回答的是“大文件、弱网络和不同账号下的总体表现”,首先缺少的可能是目标场景的样本。计算器不能把没有抽到的场景自动补进去。相同代码版本也不意味着条件相同:缓存、共享后端和随时间变化的负载,都可能让独立同分布的假设失效。

零除以一百确实等于零。这是观察到的失败比例,也是在上述模型下的最大似然点估计。点估计给出一个位置,置信上限表达有限样本仍容许多大的不确定性。 两者回答的问题不同,观察比例不需要被改成非零,报告需要补上它未表达的那一部分。

零失败为什么还容得下非零概率

如果真实失败概率是 p,单次通过的概率就是 1-p。独立重复 n 次,全通过的概率是 (1-p)^n。脚本直接计算:真实失败概率为 1% 时,一百次全通过的概率约为 36.6032%。这种结果并不罕见,因此不能仅凭零失败,就有力地排除这个真实概率。

把真实概率换成 3%,一百次全通过的概率约为 4.7553%。这时零失败已经比较少见。我们可以沿这个方向寻找一个边界:让全通过的概率恰好为 5% 的那个失败概率有多大?

令 alpha=0.05,解 (1-p_U)^n=alpha,得到 p_U=1-alpha^(1/n)。当 n=100,脚本给出 p_U=0.029513049607,即约 2.9513%。它是零失败时 Clopper–Pearson 方法的单侧百分之九十五上限。对于非零失败数,计算要改为求二项累计概率的根;相关构造见 NIST:比例的精确区间。

直觉上,若真实失败概率比这个边界还大,出现一百次全通过就会比百分之五更少见。但这仍然允许小概率的误判。概率边界是说明证据强度的办法,不能把“不常发生”改写成“不可能发生”。

百分之九十五描述的是方法的覆盖率

置信水平需要放回整套取样程序里理解:固定一个真实概率,反复独立采集同样大小的一批样本,每批都用同一方法计算上限。所得区间 [0, p_U] 覆盖真实概率的长期比例,是这里关心的覆盖率。一般解释见 NIST:什么是置信区间。

因此,看到这批数据后,不能直接把它翻译成“真实概率有百分之九十五的可能落在这个区间里”。本文没有为未知参数指定先验分布,也没有计算贝叶斯后验概率。同样,上限不保证下一批一百次最多失败几次:对参数的区间估计和对未来失败次数的预测,需要分别处理。

所谓“精确”,指构造使用二项分布,而非先把它近似成连续正态分布;它不承诺实际覆盖率处处恰好等于百分之九十五。离散计数会使这种方法偏保守。R 的 binom.test 官方文档 明确说明,Clopper–Pearson 程序保证至少达到指定置信水平,但通常不是最短区间。

为观察这一点,脚本对样本量二十和一百、九个预设真实概率,共十八组参数,逐一枚举所有可能的失败计数,再按其概率加权求覆盖率。例如 n=100、p=0.03 得到约 95.2447%,n=20、p=0.5 得到约 97.9305%。这是确定性的计数求和,不是随机模拟;十八个检查点也不能代替对所有参数的数学证明。

要压到百分之一,为什么是二百九十九次

要求零失败时的上限不超过目标 p_0,等价于 (1-p_0)^n <= alpha。两边取对数后,最小整数样本量为 ceil(log(alpha)/log(1-p_0))。脚本同时核对这个整数及其前一个整数的上限,避免只算一个近似次数。

以下均为零失败、单侧百分之九十五上限,百分数按显示位数四舍五入:

独立测试次数失败数失败概率上限
10002.951305%
29900.996915%
30000.993608%
100000.299125%
299500.099974%

二百九十八次的上限约为 1.000243%,尚未达标;二百九十九次才跨过边界。若目标收紧到千分之一,则需要二千九百九十五次零失败。常见的 3/n 记忆法可以由 -log(0.05)≈2.9957 及指数的一阶展开得到,但它是近似。小样本尤其不能盲套:一次零失败的精确上限是 95%,而 3/1 已经超出概率范围。

还要写清单侧还是双侧。同样一百次零失败,等尾双侧百分之九十五区间的上端,要把上式的 alpha 换成 0.025,结果约为 3.6217%。两种选择分配尾部概率的方式不同;只写“百分之九十五区间”会留下歧义。R 的官方实现 也分别处理单侧与双侧的尾部;本文阅读了实现,没有运行 R。

一百条通过记录,可能只有五份独立证据

构造一个刻意简单的相关性模型:先取得五个独立的二元结果,每个结果再复制二十次,于是得到一百条记录。每条记录单独看,失败概率仍为百分之一;同一组内却完全相关,全通过的条件只取决于最初那五个结果。

脚本枚举五个二元结果的全部三十二种组合,得到下面的比较。两行使用相同的单次边缘失败概率 1%:

模型记录数零失败概率零失败时的单侧 95% 上限
一百个独立结果10036.6032%2.9513%
五个独立结果,各复制二十次10095.0990%45.0720%

第二行上限按五个独立单位计算。这个数字不是对所有重复测试的修正系数,而是该模型给定相关结构后得出的结果。真实系统里,重复请求可能带来新的随机性,也可能只是重放同一种确定结果,需要证据判断;不能凭记录行数猜一个“有效样本量”。

重复同一用例对于检查回归、偶发错误或环境变化仍有用途。问题在于,测试目标若是总体失败概率,就要说明独立单位来自哪里、场景如何抽取。测试用例覆盖和随机抽样证据可以互相补充,却不能只凭“执行次数”这一个数字相互替代。

只展示最好的一批,也会改变结论

再设一个完全独立的教学模型:真实失败概率固定为百分之一,每批二百九十九次。预先指定的一批全通过,概率约为 4.9536%。如果实际做十批,再只展示其中任意一批零失败的结果,至少找到一批全通过的概率变成约 39.8334%。脚本用 1-(1-0.99^299)^10 计算了这个值。

这说明“样本量和计算公式没变”仍不足以保住原来的解释,选哪一批报告也是程序的一部分。失败后清零、改完代码重新开始,或者一直试到出现一段漂亮结果,都应保留过程记录。修复后的新版本可以有新测试计划,但不能悄悄把旧失败当作从未发生,也不能把不同版本凑成同一个固定概率样本。

发生失败时,零失败专用公式也随即失效。例如一百次出现一次失败,脚本求二项累计概率的根,得到单侧百分之九十五上限约为 4.6560%。把失败删掉再套零失败公式,会同时更改数据和问题。

怎样复现,并把结果写进报告

本次于 2026 年 10 月 26 日在 macOS 27.0.1、arm64、CPython 3.12.14 下执行,只使用 Python 标准库。零失败核心计算如下;本次实际输出为 2.951305%:

import math

n = 100
alpha = 0.05
upper = -math.expm1(math.log(alpha) / n)
print(f"{upper:.6%}")

expm1 直接计算指数值减一,避免在上限很小时先算一个接近一的数再相减。完整脚本另用二分法求累计概率方程,与闭式结果互相核对,还检查全失败端点、单次测试、样本量临界整数、相关组合的概率总和,以及九个无效输入。十三项检查全部通过;小样本内部根的最大累计概率残差约为 1.98e-15。

可下载完整实验包,也可分别取得脚本、本次 JSON 结果和运行说明与来源。解压后在同一目录执行:

python3 zero-failures-binomial-lab.py > rerun.json

这是面向文中小规模算例的浮点计算,未验证超大样本或极端尾部精度,也没有测量真实测试的独立性。失败判定本身若漏检、线上输入分布若改变,数学上限不会替你发现这些问题。

实际报告应同时交代版本、目标场景、抽样与失败规则、预定样本量、观察到的失败数,以及区间方法和方向。对于本文的一百次零失败案例,可以如实写:“本批观察失败比例为零;在固定样本量、独立且同分布的二项模型下,Clopper–Pearson 单侧百分之九十五上限约为百分之二点九五。”读者由此才能判断证据离目标还有多远,以及下一轮应该增加样本,还是先修正测试设计。