Learning objectives / 学习目标
- 用 signal/control/validation regions 构造 background transfer model，并检查 signal contamination 与 closure；
- 为 counting 与 shape analysis 写出 likelihood，区分 parameter of interest、nuisance parameter、MLE 与 likelihood ratio；
- 区分 statistical fluctuation、systematic model uncertainty、bias 与 correlation，并构造 covariance/constraint；
- 正确解释 p-value、significance、confidence interval、local/global significance 与 look-elsewhere effect；
- 设计 blind analysis、预先定义选择、版本化软件和开放数据/metadata 的 reproducibility chain。
Prerequisites / 先修知识
- Particle Detectors：efficiency、resolution、trigger selection 与 fake tails。
- Decay Law and Statistics：Poisson process 与 counting uncertainty。
- Probability density、Gaussian、logarithm、derivatives、covariance、Monte Carlo sampling。
- 能区分 data、estimator、parameter、model 与 hypothesis。
Scope and conventions / 范围与约定
- Frequentist 与 Bayesian probability 回答不同问题；本课以 particle-physics 常用 profile-likelihood frequentist workflow 为主，并明确不把 likelihood 当 parameter probability density。
- Signal/background 是相对于 analysis question 与 event definition 的模型成分，不是 event 上可直接贴的真值标签。
- Control regions 应对目标 background 富集、对 signal 弱敏感，并与 signal region 通过 transfer model 相连；验证区用于 closure，而非 fit 后装饰。
- “Systematic uncertainty” 不等于固定百分比；它通常由 nuisance parameter 改变 rate 或 shape，并与 control/calibration data 联合约束。
- Asymptotic formulas 需要 regularity 与足够样本；small counts、boundaries、weak identifiability 时应做 exact calculation 或 pseudoexperiments。
- 本课不规定某 collaboration 的 discovery threshold，也不以任何单一 \(Z\) 值替代完整结果报告。
Notation and modeling contract / 符号与建模契约
| Symbol | Meaning | Unit |
|---|---|---|
| \(n_i\) | observed count in bin/region \(i\) | 1 |
| \(s_i,b_i\) | expected signal and background yields | 1 |
| \(\mu\) | signal-strength parameter of interest | 1 |
| \(\boldsymbol\theta\) | nuisance parameters | depends/standardized |
| \(L(\mu,\boldsymbol\theta)\) | likelihood of fixed data as function of parameters | arbitrary scale |
| \(\hat\mu,\hat{\boldsymbol\theta}\) | global maximum-likelihood estimates | as parameters |
| \(\lambda(\mu)\) | profile-likelihood ratio | 1 |
| \(p_0\) | tail probability under background-only model | 1 |
| \(Z\) | one-sided Gaussian-equivalent significance | 1 |
| \(V\) | covariance matrix | product of parameter units |
Hat 表示 estimator evaluated on data；double-hat 若出现表示在固定 \(\mu\) 下条件最大化的 nuisance estimate。
1. Signal, background, and control regions / 信号、本底与控制区
Knowledge ID: P11-U04-L03-K01
一个 search 先定义 observable space 与 mutually exclusive regions。Signal region（SR） 提高目标 signal-to-background sensitivity；control region（CR） 用 data 约束 dominant background normalization/shape；validation region（VR） 在不参与主要 tuning 的区域检查 extrapolation。Regions 必须在看 SR 结果前尽量固定，且考虑 signal contamination。
最简单 on/off model：CR count \(n_C\sim\mathrm{Pois}(\tau b)\)，SR count \(n_S\sim\mathrm{Pois}(\mu s+b)\)。这里 \(b\) 是 SR background expectation，\(\tau\) 由 acceptance、kinematics 与 efficiency 给出 CR/SR transfer。Joint likelihood
\[L(\mu,b)=\mathrm{Pois}(n_S\mid\mu s+b)\, \mathrm{Pois}(n_C\mid\tau b).\]
若假定 \(\mu=0\) 且 transfer exact，直观 estimator 是 \(\hat b=n_C/\tau\)；其 counting uncertainty 从 CR 传播。但真实 transfer 有 theory/model/detector uncertainty，需要 nuisance parameter 与 validation closure。不能从 CR 直接“减掉” background 后把余数当 pure signal；negative fluctuation、correlation 与 uncertainty 都需要 likelihood 处理。
图 1 — CR 约束 background、VR 检查 transfer、SR 最大化 sensitivity；实际边界需避免 signal contamination 与 post-selection tuning。
图 2 — 现代分析常 simultaneous fit 多区域；箭头表示 statistical dependence，不表示把 CR events 物理搬到 SR。
2. Likelihood and parameter estimation / 似然与参数估计
Knowledge ID: P11-U04-L03-K02
Likelihood 是固定 observed data 在参数变化下的 sampling probability/density：\(L(\eta)=P(\text{data}\mid\eta)\)。它可乘任意与参数无关的常数，因此主要使用 maximum 与 ratios。独立 binned counts 的 extended likelihood 可写为
\[L(\mu,\boldsymbol\theta)= \prod_i\mathrm{Pois}\!\left(n_i\mid\mu s_i(\boldsymbol\theta)+b_i(\boldsymbol\theta)\right) \prod_k C_k(\theta_k),\]
\(C_k\) 来自 calibration/control measurement，不应被口语化成“对 systematic 加 Gaussian penalty”后忘记其测量含义。MLE \((\hat\mu,\hat{\boldsymbol\theta})\) 最大化 \(L\)。Profile ratio
\[\lambda(\mu)= \frac{L(\mu,\hat{\hat{\boldsymbol\theta}}(\mu))} {L(\hat\mu,\hat{\boldsymbol\theta})}\]
比较指定 \(\mu\) 与 best-fit model；\(-2\ln\lambda\) 在 regular large-sample conditions 下常有已知 asymptotic distribution。Likelihood curvature 给 local uncertainty，但多峰、boundary 或弱约束时不能只报 symmetric error。Goodness of fit 与 parameter estimation 也不同：模型可给精确的 best fit，却整体拟合很差。
图 3 — Likelihood 随参数的相对形状决定 estimate 与 likelihood-ratio interval；曲线面积没有 frequentist parameter probability 含义。
图 4 — Profile-likelihood scan 示意；阈值映射为 interval 依赖 asymptotic theorem 或 pseudoexperiment calibration。
3. Statistical and systematic uncertainties / 统计与系统不确定度
Knowledge ID: P11-U04-L03-K03
Statistical uncertainty 来自在同一 fixed model/parameters 下重复取样的 random variation，通常随有效样本数约 \(1/\sqrt N\) 缩小。Systematic uncertainty 来自 calibration、efficiency、background transfer、theory approximation、simulation 或 detector model 的不充分知识；它可随更多 auxiliary data 缩小，也可能出现 irreducible model bias，因此“stat 可降、sys 永远不降”不准确。
最清楚的做法是把可参数化来源写成 nuisance parameters，使它们改变 expected rates/shapes，并加入 control measurements。多个 estimates 的 uncertainty 由 covariance matrix \(V\) 描述；线性组合 \(y=\mathbf a^{\mathsf T}\mathbf x\) 有
\[\sigma_y^2=\mathbf a^{\mathsf T}V\mathbf a.\]
Correlated systematics 不可逐项 quadrature。完全正相关 calibration shift 在相加时同向累积，在比值中可能抵消；完全负相关则相反。Fit 后的 nuisance “pull” 与 “constraint” 需谨慎：大 pull 可能表明 tension，过强 constraint 可能来自 data sensitivity，也可能暴露模型误设。
Systematic variations 还应区分：物理上互斥的 alternative models、有限 simulation statistics、interpolation/extrapolation 和 one-sided effects。将所有来源强制 Gaussian、对称且 independent 可能低估 tail risk。Bias study、closure test 和 coverage study 是 uncertainty model 的验证，而不是最后加一句“included”。
图 5 — 纯 counting term 随 \(N^{-1/2}\) 降低；未由更多数据约束的 model/calibration floor 可最终主导。
图 6 — 二维 covariance ellipse；只报两个 marginal errors 会丢失相关方向，进而错误传播组合量。
4. Significance, confidence intervals, and look-elsewhere effect / 显著性、置信区间与别处效应
Knowledge ID: P11-U04-L03-K04
对 background-only hypothesis \(H_0\)，one-sided p-value 是在 \(H_0\) 成立且试验重复时，test statistic 至少与 observed 一样 signal-like 的 tail probability。Gaussian-equivalent significance 定义为
\[Z=\Phi^{-1}(1-p_0),\]
其中 \(\Phi\) 是 standard-normal CDF。p-value 不是 \(P(H_0\mid\text{data})\)，也不是结果为偶然的概率。对 known background 的 simple counting Asimov median discovery sensitivity，常用
\[Z_A=\sqrt{2\left[(s+b)\ln\left(1+\frac{s}{b}\right)-s\right]},\]
但 background uncertainty、small counts 和 boundaries 需要更完整模型。
Frequentist \(100(1-\alpha)\%\) confidence procedure 的覆盖定义是：在固定 true parameter 下重复实验，构造出的 intervals 以频率 \(1-\alpha\) 包含它；对已经得到的单个 interval，不能说 true value 有 \(95\%\) 概率落在其中。Bayesian credible interval 可作 parameter-probability 陈述，但依 prior。
若在许多 mass windows、channels 或 cuts 中寻找最大 excess，reported maximum 的 local p-value 未计 trials。Global p-value 要问“整个预定义 search range 中至少出现这么 signal-like fluctuation”的概率；相关 trials 不能简单等同于 bin 数。Look-elsewhere correction 应匹配真正的 scan protocol，最好用 pseudoexperiments 或 validated approximation，并同时报告 local/global context。
图 7 — p-value 是 \(H_0\) sampling distribution 的 tail area；不等于 hypothesis 的 posterior probability。
图 8 — Look-elsewhere effect：在更大 search space 中出现一个 local peak 的机会增大；有效 trials 由相关性决定。
5. Blind analysis and reproducibility / 盲分析与可复现性
Knowledge ID: P11-U04-L03-K05
Blind analysis 在关键 selection、background model、systematics 与 statistical procedure 固定前，隐藏或扰乱 signal-sensitive information。方法包括 masked SR、secret offset、scrambled labels 或 simulation-only optimization。目的不是“分析者不知道一切”，而是减少无意识地根据 desired outcome 调 cuts、regions 或 uncertainties。Unblinding 应有 checklist、approval、frozen code/config 与预定义 response plan；若 unblinding 后必须修改，应记录原因并评估 bias。
Reproducibility 需要的不只是公开 plot：data identifier、event selection、calibration、simulation configuration、software/environment、random seeds、workflow、statistical model/workspace、metadata 与 provenance 都要可追踪。Version control、container/locked environment、continuous tests、independent code review 与 machine-readable tables 使结果可重跑。Open data 可提高 external reuse，但 privacy、collaboration policy、computing dependencies 与 tacit detector knowledge 仍是边界。
Reproducible 不等于 scientifically correct：同一错误代码可以完美重现。因此要同时做 validation、closure、coverage、alternative model 与 peer review。也不能把“blind”当禁止查看 control plots；分析者必须检查 data quality，只是把可能诱导结果导向调参的信息隔离。
图 9 — 盲分析流程；若 checklist 失败可回退，但 revision 必须预先规则化并留下审计轨迹。
图 10 — 可复现分析链：数据、软件环境、workflow、statistical model 与输出 provenance 缺一不可。
Worked Examples / 完整例题
Worked Example 1 — Control-region transfer
已知： CR observes \(n_C=400\)，simulation/calibration gives \(\tau=N_C/N_S=5.00\)，暂忽略 transfer systematic；SR observes \(n_S=96\)。
研究对象/系统： 同一 background process 在 mutually exclusive CR/SR；假设 signal contamination in CR negligible。
模型： Poisson CR count，\(\hat b_S=n_C/\tau\)。
\[\hat b_S=400/5.00=80.0, \qquad \sigma_{b,\mathrm{stat}}=\sqrt{400}/5.00=4.00.\]
Observed excess is \(16\) events，但不能称为 \(4\sigma\) signal，因为 SR Poisson fluctuation、transfer uncertainty、other backgrounds 与 fit correlations 尚未计入。量纲/合理性： yields 无量纲，CR 更多统计可缩小 transfer 的 counting component。
Worked Example 2 — Poisson MLE
已知： 单 counting region，known \(b=12.0\)，expected signal at \(\mu=1\) is \(s=5.00\)，observe \(n=20\)；物理约束 \(\mu\ge0\)。
模型： \(n\sim\mathrm{Pois}(\mu s+b)\)，无 nuisance。
\[\ln L=n\ln(\mu s+b)-(\mu s+b)+\mathrm{const}.\]
令 derivative 为零：\(s[n/(\mu s+b)-1]=0\)，故
\[\hat\mu=\frac{n-b}{s}=\frac{20-12}{5}=1.60.\]
检查： predicted mean \(\hat\mu s+b=20\) 匹配 observed count。若 \(n<b\)，unconstrained estimate 为负；在 \(\mu\ge0\) boundary 上 MLE 取 0，asymptotic distribution 也会改变。
Worked Example 3 — Correlated uncertainty propagation
已知： \(x=100\pm6\)、\(y=80\pm5\)，correlation \(\rho=0.60\)；求 \(d=x-y\) uncertainty。
系统： 两 estimates 同一 calibration 部分相关；Gaussian linear propagation。
\[\sigma_d^2=\sigma_x^2+\sigma_y^2-2\rho\sigma_x\sigma_y =36+25-2(0.60)(6)(5)=25.\]
所以 \(d=20\pm5\)。检查： 正相关 shift 在差中抵消，使 uncertainty 小于 independent quadrature \(\sqrt{61}=7.81\)；若求 sum，correlation term 符号相反。
Worked Example 4 — Asimov counting significance
已知： expected signal \(s=10.0\)、known background \(b=20.0\)。
模型与理由： simple Poisson counting、background exact、large-sample median sensitivity；不用于 observed p-value。
\[Z_A=\sqrt{2[(30)\ln(1+10/20)-10]} =\sqrt{2[30\ln1.5-10]} =2.08.\]
Naive \(s/\sqrt b=2.24\) 略高。边界检查： 若 \(b\) 有 uncertainty，sensitivity 会降低；small counts 应 exact/pseudoexperiment calibration。结果是 expected median—not probability that signal is true。
Worked Example 5 — 独立 trials 的教学模型
已知： 单一预先位置的 local p-value \(p_{\mathrm{loc}}=0.00100\)；若有 20 个真正 independent search positions，求至少一个同等或更极端 fluctuation 的概率。
模型： independent identical trials，仅作直觉；实际 mass windows 相关。
\[p_{\mathrm{glob}}=1-(1-p_{\mathrm{loc}})^{20} =1-0.999^{20}=0.0198.\]
Small-\(p\) 近似 \(20p=0.0200\)。检查： Global p larger, significance smaller。真实 look-elsewhere effect 不能用 histogram bin count 代替 effective trials；应模拟 scan algorithm。
Lesson synthesis / 全课综合
可信 evidence chain 是：预先定义 event/regions；用 control/calibration data 和 physics model 构造 joint likelihood；区分 parameter of interest 与 nuisance，并传播 covariance；选择有明确 sampling/coverage 性质的 test statistic 与 interval；对 scan 计算 global context；最后用 blinding、versioning、open tables/workspaces 与 independent review 保证选择不会被 outcome 驱动、结果能够重跑。任何一个显著性数字都必须伴随 model、search space、uncertainty 与 procedure。
Formula-and-decision table / 公式与决策表
| Question | Relation | Conditions | Do not claim |
|---|---|---|---|
| CR predicts SR | \(\hat b_S=n_C/\tau\) | transfer validated, contamination controlled | pure signal by subtraction |
| count likelihood | \(\mathrm{Pois}(n\mid\mu s+b)\) | count definition and exposure fixed | likelihood is \(P(\mu\mid n)\) |
| profile comparison | \(\lambda(\mu)=L(\mu,\hat{\hat\theta})/L(\hat\mu,\hat\theta)\) | nuisance model identifiable | asymptotics always exact |
| correlated propagation | \(\sigma_y^2=\mathbf a^{\mathsf T}V\mathbf a\) | local linear approximation | independent quadrature if correlated |
| one-sided significance | \(Z=\Phi^{-1}(1-p_0)\) | sampling tail and convention stated | probability \(H_0\) is true |
| simple expected sensitivity | \(Z_A=\sqrt{2[(s+b)\ln(1+s/b)-s]}\) | known \(b\), Asimov counting model | observed universal significance |
| independent trial model | \(p_g=1-(1-p_l)^N\) | genuinely independent identical tests | use bin count for correlated scan |
Model boundaries / 模型边界
- Signal/background/control categories depend on process definition, detector selection and model；an event is not intrinsically “background”。
- Likelihood conditions on observed data；frequentist inference does not assign probability to fixed parameters without a prior。
- Gaussian constraints, asymptotic Wilks/Wald results and symmetric errors can fail for low counts, boundaries, discrete nuisances or non-identifiability。
- Systematic uncertainty is not cured by assigning a wider error if model bias or missing process remains；closure and alternative models are required。
- Confidence level refers to a construction’s repeated-sampling coverage；credible level is prior-dependent posterior mass。
- Look-elsewhere effect pertains to the actual family of searches performed or effectively available；unreported tuning is a hidden trials factor。
- Blinding reduces analyst-induced bias but does not replace detector validation, peer review or reproducible software。
Misconception clinic / 误区诊所
- “p=0.01 表示 null 只有 1% 概率为真。” p-value 是 \(H_0\) 下 test statistic tail probability。
- “Systematic uncertainties 永远不会随数据减少。” Calibration/control data 可约束许多 nuisances；model inadequacy 仍需新模型。
- “把所有百分比平方相加最保守。” Correlations 可能放大或抵消；错误 covariance 既可高估也可低估。
- “95% confidence interval 有 95% 概率含真值。” Frequentist parameter fixed；95% 是 procedure 的 long-run coverage。
- “Blind analysis 意味完全不看 data。” 仍要看 control/data-quality information，只隔离会驱动 outcome-dependent choices 的部分。
Practice and retrieval / 练习与提取
- [K01·定量] CR count \(900\)，\(\tau=9\)，求 SR background estimate 与仅 CR counting uncertainty。
- [K01·边界] 为什么 signal contamination in CR 会 bias background estimate？
- [K02·概念] Likelihood 与 posterior 的区别是什么？
- [K02·定量] 单 Poisson mean \(\nu\) observe \(n=7\)，求 MLE。
- [K03·相关] 两个各 \(4\) units 的完全正相关 calibration errors 对 sum 的 uncertainty 是多少？
- [K03·判断] 大 nuisance pull 一定意味着新物理吗？
- [K04·表达] 准确解释 \(p_0=2.9\times10^{-7}\)。
- [K04·边界] Local \(5\sigma\) peak 在大 scan 中是否仍 global \(5\sigma\)？
- [K05·设计] 写出 unblinding 前至少四项 checklist。
- [K01–K05·综合] 某 excess 在修改 cuts 三次后达到 \(3\sigma\)。列出必须补充报告的信息。
第 1 题答案
\(\hat b=900/9=100\)，\(\sigma_b=\sqrt{900}/9=3.33\)。Transfer systematic 尚未包括。
第 2 题答案
若 signal events 被模型当 background 用来调 normalization，fit 会把部分 signal 吸收到 \(b\)，通常削弱 SR excess；应在 joint likelihood 中包含 signal contribution。
第 3 题答案
\(L(\theta)=P(data\mid\theta)\) 视 data fixed、参数变化，未归一化为 parameter density；posterior \(p(\theta\mid data)\propto L(\theta)\pi(\theta)\) 还需 prior。
第 4 题答案
\(\ln L=7\ln\nu-\nu+const\)，derivative \(7/\nu-1=0\)，故 \(\hat\nu=7\)。
第 5 题答案
\(\sigma_{x+y}=\sqrt{16+16+2(1)(4)(4)}=8\)，不是 independent quadrature \(5.66\)。
第 6 题答案
不。它可能表示 calibration fluctuation、background model tension、missing correlation 或 data problem；先做 control/closure 与 alternative-model diagnostics。
第 7 题答案
若 background-only model 与完整 procedure 成立，重复实验得到至少这样 signal-like test statistic 的概率约 \(2.9\times10^{-7}\)；它不直接给 \(P(H_0\mid data)\)。
第 8 题答案
通常不是；global p-value 计入 entire search range 的最大 fluctuation，因而大于 local p。需根据 correlations 和 actual scan 计算。
第 9 题答案
冻结 selection/regions；background closure；systematic model 和 correlations；statistical test/interval；software version/tests；data-quality/trigger/calibration；预定义 failure response。
第 10 题答案
应报告完整 tuning/search history、pre/post choices、effective trials or pseudoexperiment global p、control/validation closure、all nuisances/correlations、unblinded modifications、code/data versions，并用 independent sample/analysis 复核。
Exit ticket / 离堂检验
- 用不超过四句的话区分 likelihood、p-value、confidence interval 与 posterior。
- 为“在 100 个 mass points 找峰”设计一个 pseudoexperiment-based global p-value procedure，写清每次 repetition 必须重新做什么。
References and source notes / 参考资料与来源说明
以下链接均于 2026-08-30 实际打开并核对；正文重新组织，所有图均依据方程原创绘制。
- Particle Data Group 2024 — Statistics — likelihood, estimation, nuisance parameters, tests, intervals and interpretation
- Cowan et al. — Asymptotic formulae for likelihood-based tests — profile-likelihood tests, Asimov data and asymptotic conditions
- Gross and Vitells — Trial factors for the look elsewhere effect — local/global p-values and correlated search trials
- CERN — Practical Statistics for Particle Physics — counting/shape inference, discovery, look-elsewhere and blind analysis
- CERN Open Data Portal — data, software, documentation and reproducible analysis resources
- CERN Open Data Policy for the LHC Experiments — open-data levels, reuse expectations and reproducibility boundaries
Source-to-content map
| Source | Used for | Knowledge ID / Section | Model boundary or convention |
|---|---|---|---|
| PDG Statistics | definitions of likelihood, nuisance parameters, tests and intervals | K02–K04 | frequentist and Bayesian statements answer different questions |
| Cowan et al. | profile likelihood and Asimov sensitivity | K02, K04 | asymptotic formulas require regularity and adequate counts |
| Gross and Vitells | look-elsewhere trial factors | K04 | effective trials are correlated and scan-dependent |
| CERN practical statistics | control/background logic, discovery and blinding | K01, K04, K05 | method must be declared; no single universal interval |
| CERN Open Data | reproducible data/software/documentation chain | K05 | open access does not eliminate detector expertise requirements |
| CERN Open Data Policy | data reuse and provenance boundaries | K05 | release levels and collaboration policy constrain availability |
复习与拓展
- 回链 Particle Detectors：resolution、efficiency 与 fake tails 在 likelihood 中成为 response model 和 nuisances。
- 下一 Unit Classical Fields and Symmetry 从实验 inference 转入理论结构；field-theory predictions 最终仍必须经过本课的统计 evidence chain。
- 未来扩展：Neyman construction、CLs、Bayesian hierarchical models、unfolding、machine-learning calibration、simulation-based inference 与 analysis preservation。