概率与微观态

Learning objectives / 学习目标

完成本课后，你应能：

1. 对离散或连续概率分布执行归一化，计算期望值、方差与协方差，并解释 ensemble average 的物理含义。
2. 严格区分 microstate、macrostate、multiplicity 与 probability，完成二态系统的组合计数。
3. 写出孤立平衡系统的 equal-a-priori-probability postulate，并说明 accessible、energy shell 与 equilibration 的前提。
4. 从 Gibbs entropy 推出等概率情形的 Boltzmann entropy，并区分 thermodynamic entropy 与无量纲 Shannon information。
5. 用大数律、相对涨落和 multiplicity peak 解释 typicality，而不把“最概然”误写成“唯一可能”。
6. 对统计模型检查归一化、单位、极限、粗粒化尺度、独立性与热力学极限。

Prerequisites / 先修知识

• 排列组合、二项式定理、自然对数与基本积分。
• 热力学熵与熵产生。
• Boltzmann relation 与基态多重性。
• 经典力学的 phase space：\(N\) 个三维粒子由 \(6N\) 个位置—动量坐标描述。

Scope and conventions / 范围与约定

• 本课讨论平衡经典统计力学的概率语言；概率表示给定宏观约束下的 ensemble 权重，不等同于单条轨迹的瞬时“随机力”。
• 离散微观态记为 \(i\)，连续变量记为 \(x\)；连续分布的 \(p(x)\) 是 probability density，通常有单位。
• 孤立系统只在 accessible energy shell 上应用等先验概率；额外守恒量、不可穿越势垒或未遍历相空间时，必须缩小可达集合。
• 热力学熵采用 SI，单位 \(\mathrm{J\,K^{-1}}\)；信息熵若用自然对数，以 nat 表示且无量纲；若用 \(\log_2\)，单位为 bit。
• 经典连续相空间的“态数”需要粗粒化尺度；相空间单元的绝对选择影响熵的加法常数，而可观测熵差不受一致选择影响。

Notation and modeling contract / 符号与建模契约

Knowledge 1 — Probability distributions and expectation values / 概率分布与期望值

Knowledge ID: P03-U06-L01-K01

1.1 归一化先于平均

离散随机变量的概率必须满足

\[p_i\ge0, \qquad \sum_i p_i=1.\]

可观测量 \(A\) 的 ensemble expectation、二阶矩与方差分别为

\[\langle A\rangle=\sum_i p_iA_i, \qquad \langle A^2\rangle=\sum_i p_iA_i^2,\]

\[\boxed{\operatorname{Var}(A)=\langle A^2\rangle-\langle A\rangle^2}, \qquad \sigma_A=\sqrt{\operatorname{Var}(A)}.\]

期望值是重复制备相同宏观条件所得统计平均，不保证任何一次测量恰好等于它。对于连续变量，求和改为积分：

\[\int p(x)\,dx=1, \qquad \langle A\rangle=\int A(x)p(x)\,dx.\]

若 \(x\) 以米计，则 \(p(x)\) 的单位是 \(\mathrm{m^{-1}}\)，只有 \(p(x)dx\) 才是无量纲概率。

图 1：离散分布把单位总概率分配给多个微观态；柱高不是能量。

1.2 平均、涨落与相关性回答不同问题

两个量的 covariance 为

\[\operatorname{Cov}(A,B)=\langle AB\rangle-\langle A\rangle\langle B\rangle.\]

零协方差只表示线性相关消失，不自动推出统计独立。对独立同分布的 \(N\) 个量 \(X_j\)，样本平均 \(\bar X=N^{-1}\sum_jX_j\) 满足

\[\operatorname{Var}(\bar X)=\frac{\operatorname{Var}(X)}{N}, \qquad \sigma_{\bar X}\propto N^{-1/2}.\]

这条缩放是 macroscopic reproducibility 的核心之一，但临界长程相关或重尾分布可破坏简单推导。

图 2：期望值定位分布中心，标准差描述宽度；两者不能互相替代。

Worked Example 1 — 非均匀四态能量分布的平均与涨落

已知条件： 一个重复制备的系统具有能量 \(E_i=(0,1,2,4)\epsilon\)，对应概率 \(p_i=(0.40,0.30,0.20,0.10)\)，其中 \(\epsilon=1.00\times10^{-21}\ \mathrm J\)。
研究对象： 单次制备后的四态系统；统计对象是大量相同制备构成的 ensemble。
系统边界与参考系： 固定外参量，能量均相对于同一零点；没有空间方向问题。
模型及理由： 状态与概率均给定，使用离散分布；先核验 \(\sum p_i=1.00\)。

平均能量为

\[\langle E\rangle =\epsilon\left[0(0.40)+1(0.30)+2(0.20)+4(0.10)\right] =1.10\epsilon.\]

二阶矩与方差为

\[\langle E^2\rangle =\epsilon^2\left[1(0.30)+4(0.20)+16(0.10)\right] =2.70\epsilon^2,\]

\[\operatorname{Var}(E)=2.70\epsilon^2-(1.10\epsilon)^2 =1.49\epsilon^2.\]

因此

\[\boxed{\langle E\rangle=1.10\times10^{-21}\ \mathrm J}, \qquad \boxed{\sigma_E=1.22\times10^{-21}\ \mathrm J}.\]

单位与有效数字： 一阶矩为 J，方差为 \(\mathrm{J^2}\)，标准差重新为 J；给定数据支持三位有效数字。
检查与解释： 平均值位于最小与最大能量之间；标准差与能级跨度同阶合理。\(1.10\epsilon\) 不是现有能级，说明 expectation 不必是单次可测值。

Knowledge 2 — Microstates, macrostates, and multiplicity / 微观态、宏观态与多重度

Knowledge ID: P03-U06-L01-K02

2.1 微观态完整，宏观态粗粒化

Microstate 给出模型允许的全部微观自由度；经典 \(N\) 粒子微观态是连续相空间点 \(\Gamma=(\mathbf q,\mathbf p)\)。本课用 \(\mu\) 标记离散态或已明确 coarse-grained 的相空间 cell。Macrostate 只给少量宏观约束，例如 \((E,V,N)\) 或二态系统的激发数 \(n\)。映射 \(\mu\mapsto M\) 通常多对一；离散或 coarse-grained 情形中落入同一 \(M\) 的微观态数称 multiplicity：

\[\Omega(M)=\#\{\mu:\mu\mapsto M\}.\]

图 3：宏观态是对微观描述的多对一 coarse graining；图中八点仅作示意。

2.2 二态系统把物理问题化成组合计数

设 \(N\) 个可区分单元各取 \(0\) 或 \(1\)，宏观量只记录有 \(n\) 个单元处于状态 \(1\)。任意具体的 \(0/1\) 序列是一个 microstate，而 multiplicity 为

\[\boxed{\Omega(N,n)=\binom{N}{n}=\frac{N!}{n!(N-n)!}}.\]

若每个序列独立且等概率，则宏观态概率是

\[P(n)=\binom{N}{n}p^n(1-p)^{N-n}.\]

注意 \(\Omega\) 是计数、没有单位；\(P\) 是归一化概率。二者只有在指定 microstate weights 后才能联系。

图 4：\(N=6\) 二态系统的 multiplicity 呈二项峰；总微观态数为 \(\sum_n\Omega=2^6\)。

Worked Example 2 — 二态系统的 multiplicity 与宏观概率

已知条件： \(N=20\) 个可区分、相互独立的二态单元，每个状态 \(0\) 或 \(1\) 的概率均为 \(1/2\)；求恰有 \(n=8\) 个处于状态 \(1\) 的 multiplicity、宏观概率与该 macrostate 的 Boltzmann entropy。
研究对象： 固定 \(N\) 的全部 \(2^{20}\) 个二进制序列。
系统边界与坐标： 单元标签固定；\(n\) 是计数标量，无方向。
模型及理由： 单元可区分且独立，因此使用 binomial counting；等权微观态概率为 \(2^{-20}\)。

\[\Omega(20,8)=\frac{20!}{8!12!}=125970.\]

\[P(8)=\frac{125970}{2^{20}}=0.1201.\]

\[S_B=k_B\ln\Omega =(1.380649\times10^{-23})\ln(125970) =1.621\times10^{-22}\ \mathrm{J\,K^{-1}}.\]

所以

\[\boxed{\Omega=125970,\quad P=0.1201,\quad S_B=1.621\times10^{-22}\ \mathrm{J\,K^{-1}}.}\]

单位与有效数字： \(\Omega\) 与 \(P\) 无量纲；\(S_B\) 的单位来自 \(k_B\)。
极限与合理性检查： \(P<1\) 且由于 \(n=8\) 接近峰值 \(10\)，达到约 \(12\%\) 合理；若 \(n=0\)，则 \(\Omega=1\)、\(S_B=0\)。结果不适用于不可区分占据对象。

Knowledge 3 — Fundamental postulate of statistical mechanics / 统计力学基本假设

Knowledge ID: P03-U06-L01-K03

3.1 等先验概率只覆盖“可达且满足约束”的态

对能量、体积、粒子数固定的孤立平衡系统，基本假设是：在指定的窄能壳内，所有 accessible microstates 具有相同先验权重。对离散态或已明确 coarse-grained 的 cells，若壳内态数为 \(\Omega(E,V,N)\)，则

\[p(\mu\mid E,V,N)= \begin{cases} \Omega^{-1}, & E\le H(\mu)<E+\delta E,\\ 0, & \text{otherwise}. \end{cases}\]

这里 \(\delta E\) 必须相对宏观能量很小、同时包含大量微观态。连续相空间的单点概率为零，必须相对于声明的 measure 写 probability density；下一课会用归一化的 \(\rho_{mc}(\Gamma)\) 表示。等权不是“相空间所有点都具有同一个有限概率”，也不是由 Liouville theorem 单独证明；Liouville theorem 说明 Hamiltonian flow 保持相空间体积，而 equilibration 还涉及可达性、混合和观测的 coarse graining。

图 5：微正则等权分布位于窄 energy shell，而不是填满整个相空间。

3.2 平衡预测不等于轨迹动力学证明

统计假设给出 equilibrium ensemble 的概率与平均量，但不直接回答“需要多久达到平衡”。若相空间分成无法互通的区域、系统存在额外守恒量、玻璃态势垒高于实验时间尺度，应该在实际可达分量内归一化，而不是把不可达态强行计入。

图 6：若动力学不可跨越红色边界，形式上存在的 \(B\) 区态并非当前制备的 accessible set。

Worked Example 3 — 能壳中的等权态与宏观事件概率

已知条件： 某孤立模型在能壳内有 \(\Omega=5000\) 个可达微观态；其中 \(1200\) 个满足宏观条件 \(A\)，\(300\) 个同时满足 \(A\) 与 \(B\)。
研究对象： 固定 \((E,V,N)\) 的 energy-shell ensemble。
系统边界与参考系： 系统绝热、刚性、封闭；事件是集合，不涉及坐标方向。
模型及理由： 已明确 equilibrium、accessible 与等先验概率，故每态权重为 \(1/5000\)。

\[P(A)=\frac{1200}{5000}=0.240, \qquad P(A\cap B)=\frac{300}{5000}=0.0600.\]

若已知发生 \(A\)，则

\[P(B\mid A)=\frac{P(A\cap B)}{P(A)} =\frac{300}{1200}=0.250.\]

\[\boxed{P(A)=0.240,\quad P(A\cap B)=0.0600,\quad P(B\mid A)=0.250.}\]

单位与有效数字： 概率无量纲；计数精确，结果保留三位有效数字。
检查与解释： \(P(A\cap B)\le P(A)\) 且所有概率位于 \([0,1]\)。若那 \(300\) 个态被额外守恒量隔离而不可达，则分母与分子都必须重新定义；不能继续机械使用 \(5000\)。

Knowledge 4 — Entropy, information, and typicality / 熵、信息与典型性

Knowledge ID: P03-U06-L01-K04

4.1 Gibbs entropy 包含非等权分布，Boltzmann form 是特例

离散 ensemble 的 Gibbs entropy 为

\[\boxed{S_G=-k_B\sum_i p_i\ln p_i}.\]

若 \(\Omega\) 个可达态等权，\(p_i=1/\Omega\)，则

\[S_G=-k_B\Omega\frac{1}{\Omega}\ln\frac{1}{\Omega} =k_B\ln\Omega=S_B.\]

无量纲 Shannon entropy \(H_{\mathrm{Sh}}=-\sum_i p_i\ln p_i\) 与 \(S_G\) 数学同形，关系为 \(S_G=k_BH_{\mathrm{Sh}}\)；物理熵还要求明确 ensemble、粗粒化、能量尺度和热力学语境。

图 7：二元分布在 \(p=1/2\) 时信息熵最大，在确定分布 \(p=0\) 或 \(1\) 时为零。

4.2 Typicality 来自“压倒性多数”，不是神秘吸引力

对大量近独立自由度，一个宏观区间可能包含几乎全部允许微观态。以公平二态系统为例，\(n\) 的标准差是 \(\sqrt{N}/2\)，而平均值是 \(N/2\)，所以相对宽度

\[\frac{\sigma_n}{\langle n\rangle}=\frac{1}{\sqrt N}\]

随 \(N\) 增大而消失。更精确地，对固定比例的宏观偏离，例如 \(\lvert n/N-1/2\rvert>\varepsilon\) 且 \(\varepsilon>0\) 不随 \(N\) 改变，其总权重通常按 \(e^{-NI(\varepsilon)}\) 衰减；而 \(O(\!\sqrt N)\) 宽度的中心区仍承载有限的典型涨落。

图 8：典型区不是一个点，而是峰附近包含绝大多数微观态的窄相对区间。

图 9：当相关长度有限时，相对涨落随系统尺度减小，最终低于宏观分辨率。

图 10：统计建模链条从约束与可达态开始，经概率权重到熵、平均量与典型宏观态。

Worked Example 4 — 信息熵、有效态数与非均匀性

已知条件： 四个微观态的概率为 \((1/2,1/4,1/8,1/8)\)。求自然对数定义的信息熵、对应 thermodynamic Gibbs entropy 与 effective number of states \(\Omega_{\mathrm{eff}}=\exp(H_{\mathrm{Sh}})\)。
研究对象： 给定四态 ensemble，不假定等权。
系统边界与参考： 外参量固定；熵只针对这套 coarse-grained states。
模型及理由： 使用 Gibbs–Shannon form，因为概率不相等。

\[H_{\mathrm{Sh}} =-\sum_i p_i\ln p_i =-\left[\frac12\ln\frac12+\frac14\ln\frac14+2\left(\frac18\ln\frac18\right)\right] =\frac74\ln2.\]

\[H_{\mathrm{Sh}}=1.213\ \mathrm{nat}=1.750\ \mathrm{bit}.\]

\[S_G=k_BH_{\mathrm{Sh}} =(1.380649\times10^{-23})(1.213) =1.675\times10^{-23}\ \mathrm{J\,K^{-1}},\]

\[\Omega_{\mathrm{eff}}=e^{1.213}=3.364.\]

单位与有效数字： \(H_{\mathrm{Sh}}\) 与 \(\Omega_{\mathrm{eff}}\) 无量纲，\(S_G\) 为 \(\mathrm{J\,K^{-1}}\)。
检查与解释： 四态等权时 \(H=\ln4=1.386\) nat；当前分布更集中，因此 \(H<\ln4\) 且 \(1<\Omega_{\mathrm{eff}}<4\)。有效态数不必是整数，它衡量分布的扩展程度。

Lesson synthesis / 全课整合

统计力学先把宏观约束映射为一组 accessible microstates，再给这些态分配概率。期望值与方差把概率转成可测预测；multiplicity 说明一个 macrostate 有多少微观实现；孤立平衡系统的基本假设使可达能壳内微观态等权；Gibbs entropy 则把权重分散程度量化。宏观平衡并非只有一个微观态，而是一个占据压倒性多数微观态的 typical region。

可执行建模流程： 声明系统与约束 → 定义 microstate 与 macrostate → 找到实际可达集合 → 归一化权重 → 计算平均与涨落 → 计数 multiplicity 或求 Gibbs entropy → 检查热力学极限、相关性和粗粒化边界。

Formula-and-decision table / 公式—决策表

Model boundaries / 模型边界

1. Equal a priori probability applies to accessible states consistent with all macroscopic constraints; it is not a claim about arbitrary phase-space points.
2. Ergodicity is sufficient for many time-average arguments but is stronger than what every equilibrium prediction needs; this lesson does not prove equilibration dynamics.
3. Classical continuous state counting needs a phase-space measure and coarse-graining scale; absolute classical entropy has an additive convention.
4. Stirling and Gaussian approximations require large occupation numbers and fail in extreme tails.
5. \(N^{-1/2}\) relative-fluctuation scaling assumes short-range correlations and finite variance; near criticality effective independent sample count is smaller.
6. Shannon entropy and thermodynamic entropy share mathematics, but physical identification requires a specified ensemble and \(k_B\) energy–temperature calibration.

Misconception clinic / 易错概念诊所

1. “最高概率 macrostate 一定发生。” 错；它只是包含最多微观态，有限系统仍有涨落。
2. “每个 macrostate 等概率。” 错；基本假设等权的是 accessible microstates，宏观概率与 multiplicity 成正比。
3. “概率密度就是概率。” 错；连续情形只有 \(p(x)dx\) 才是无量纲小区间概率。
4. “期望值必须是可能测得的值。” 错；例如骰子平均值可不是任何一面。
5. “Liouville theorem 证明系统必然遍历整个能壳。” 错；它保证相空间体积保持，不保证混合、遍历或有限时间平衡。
6. “信息越少，热力学熵必然越大。” 需要限定 coarse graining 与 ensemble；改变描述层级会改变 Shannon 值，不能脱离物理模型比较。

Practice and retrieval / 练习与检索

1. 归一化与平均（K01）

三个状态权重比为 \(1:2:3\)，可观测量分别为 \(0,2,5\ \mathrm J\)。求归一化概率与 \(\langle A\rangle\)。

2. 方差的单位（K01）

若能量标准差为 \(2.0\ \mathrm{meV}\)，能量方差的数值与单位是什么？

3. 连续密度（K01）

\(p(x)=2x/L^2\) 定义在 \(0\le x\le L\)。验证归一化并求 \(\langle x\rangle\)。

4. Microstate 与 macrostate（K02）

写出三个自旋 \(\uparrow\downarrow\uparrow\) 的 microstate，并给出只记录向上自旋数时的 macrostate 与 multiplicity。

5. 计数与概率（K02）

公平的 \(N=10\) 二态系统恰有 \(n=5\) 个状态 \(1\) 的概率是多少？

6. Accessible 的含义（K03）

为什么有无限高势垒隔开的相空间区域不能都放入同一个等权集合？

7. 能壳宽度（K03）

微正则系综为何常用 \(E\le H<E+\delta E\) 而不是数学上零厚度的 \(H=E\)？

8. Gibbs 到 Boltzmann（K04）

证明 \(\Omega\) 个等权态的 Gibbs entropy 等于 \(k_B\ln\Omega\)。

9. 最大信息熵（K04）

二元分布 \(p,1-p\) 在何处熵最大？说明判据。

10. Typicality 与边界（K01–K04）

某系统由 \(N\) 个弱相关子区组成。若每区平均能量 \(u\)、标准差 \(s\)，总能量的相对标准差如何随 \(N\) 缩放？什么情形会让结论可疑？

Exit ticket / 课末检验

1. 给定一个宏观约束集合，写出从“定义可达微观态”到“预测典型宏观量”的五步流程，并指出 equal probability 究竟施加在哪一级。
2. 用不超过三行公式说明为什么等权二态系统的平衡区在 \(n\approx N/2\)，但有限系统仍会离开该区。

References and source notes / 参考资料与来源说明

1. MIT OCW 8.333, Lecture 5 — Probability — probability density、moments and distributions。
2. MIT OCW 8.333, Lecture 6 — Many Random Variables, Information, Entropy — covariance、large numbers、information entropy and typicality。
3. MIT OCW RES.8-010, Lecture 2 — Calculus, Probability, and Combinatorics — normalization、expectation、variance and combinatorial counting。
4. MIT OCW RES.8-010, Lecture 3 — Entropy from Information — Shannon form、coarse graining and entropy interpretation。
5. MIT OCW 8.333, Lecture 12 — General Definitions and Microcanonical Ensemble — microstate/macrostate、accessible energy shell、equal a priori probability and \(S=k_B\ln\Omega\)。
6. OpenStax University Physics Volume 2, 4.7 Entropy on a Microscopic Scale — multiplicity and microscopic entropy at introductory level。
7. NIST Fundamental Constants in Nature — exact SI role of \(k_B\) and \(R=N_Ak_B\)。

以上链接均于 2026-08-25 实际打开并核对到具体课程资源、PDF 或官方页面。正文依据这些来源重新组织；组合示意、概率图和流程图全部按本文符号原创，不复制来源插图。

Source-to-content map

复习与拓展

• 下一课把约束改为固定 \((E,V,N)\)、\((T,V,N)\) 或 \((T,V,\mu)\)，分别构造 microcanonical、canonical 与 grand canonical ensembles。
• Unit 3.7 会把经典 phase-space counting 替换为不可分辨量子态的 occupation-number counting。
• Unit 3.8 将讨论 Markov dynamics、master equation 与 fluctuation–dissipation，回答“概率怎样随时间演化”。
• 临界现象课程会解释为什么长程相关使 ordinary typicality 和 \(N^{-1/2}\) 缩放失效。