密码学 ｜ 5.3 概率论

  在本节中，我们将介绍一些（离散）概率论的基本思想。概率空间由两部分组成，第一种是由实验的所有可能结果组成的有限集  ；第二种是每个可能结果出现的概率。在数学术语中，概率空间是结果  的有限集合，称为样本空间，以及函数

  函数  表示 事件  发生的概率。特别的，的值应介于0和1之间。

例 5.18 考虑抛一枚硬币，会有两种结果：正面和反面。我们设集合 。假设这枚硬币没被做过手脚，那么两种结果出现的概率应该是相等的，即 。

例 5.19 考虑投两枚骰子，那么样本空间就会有 36 种数对

  在例 5.19 中，每个结果出现的可能性是相等的。比如投出  和投出  具有相同的概率。因此对于任意的 ，我们有

  不过在这个场景中，投出点数的顺序很重要。我们可以想象一个骰子是红色的，另一个是蓝色的，那么我们应该判定 “红色3和蓝色5” 与 “红色5和蓝色3” 是两个不同的结果。

例 5.20 假设现在我们有 100 个骰子，其中 21 是红的，剩下的是蓝的。如果我们随机不放回的挑选 10 个，那么挑出来的骰子中正好有三个是红色的概率为多少。

  通常我们对计算复合事件的概率更感兴趣。这些样本空间的子集，可能包括多个结果。例如，在示例5.19中的两个骰子的投掷中，我们可能对至少一个骰子显示6的概率感兴趣。而这个复合事件是  的子集，由包括数字 6 的所有结果组成，即集合

{(1, 6),(2, 6),(3, 6),(4, 6),(5, 6),(6, 6),(6, 1),(6, 2),(6, 3),(6, 4),(6, 5)}

  假设我们知道每个特定结果的概率。那么，我们如何计算复合事件或由重复的独立实验组成的事件的概率呢？分析这一问题我们产生了事件独立性的概念，这一概念赋予了概率论许多复杂性和丰富性。

  形式概率论是一种公理理论。当你研究欧几里得几何和抽象向量空间时，你可能已经看到过这样的理论。在公理理论中，我们从一小部分基本公理开始，并从中导出其他有趣的事实和公式。概率公理理论允许我们推导公式来计算复合事件的概率。在本书中，我们仅对该理论进行一些非正式介绍，但对于那些对概率论更严格的公理化处理感兴趣的读者，可阅读《A First Course in Probability》2.3 一节。

  首先，我们从一些定义开始。

定义 样本空间（结果集合）是一个有限集合 ，其中的每一个结果  都有对应的概率 。这里用到了我们的概率函数

  其满足两个性质

  性质（1）说明，每一个结果的概率都在 0 （从不发生） 和 1（肯定发生）之间。性质（2）说明一定会有结果，所以  包含了实验的所有可能结果。

定义 事件是  的一个子集。我们定义事件  发生的概率为

特别的我们有 。

定义 如果 ， 我们称两个事件  是互斥（disjoint）的。

  那么有 。因此  是所有事件  和  的集合。当  不是互斥的时候，那么  的概率就不是  和  的和了，因为这样  和  均包含的结果会被重复计数。因此，我们需要减去  和  中的共同结果，这给出了公式

(5.16)Pr(E∪F)=Pr(E)+Pr(F)−Pr(E∩F)

定义 事件  的补充是事件 ，包含了所有不在  中的结果，即

  补充事件的概率为

  有时使用补充事件和  能够更方便地计算出事件  的概率。

例 5.21 我们继续用 例5.19，其中  是由投两个骰子的所有可能结果组成。设  为事件

例 5.22 假设我们要从一副牌中（不包含joker）不放回地抽出两张牌。设  和  为以下事件：

 第一张抽出的牌是 K

 第二张抽出的牌是 K

  那么事件  的发生会让事件  的发生更容易。因为如果第一张卡牌是 , 那么剩余的卡牌中仍然会剩下 4 张 。因此如果我们知道事件  已经发生，那么事件  发生的概率就从  提升到了 

  在 例5.22 的讨论中我们知道到了两件事。首先，我们看到，有些时候一个事件的概率取决于是否发生了另一个事件；其次，我们进行了一些拓展，从而得出独立事件的数学定义

  回顾一下， 是  和  同时发生的概率。换句话说，如果  和  都发生的概率是它们各自发生概率的乘积，那么它们是独立的。

例 5.23 一枚硬币被投掷10次并记录结果。以下事件的概率是多少？

 前五次都是正面朝上

 前五次正面朝上，剩下的反面朝上

 正好有五次正面朝上

  假设这是一枚公平的硬币，任何一次投掷的结果都与其他投掷的结果无关，因此我们可以通过将这些投掷中任何一次得到正面的概率相乘来计算前五次投掷中都得到正面的概率。于是第一个问题的答案：

  为了计算  的概率，请注意，我们现在要求的概率是我们的投掷序列恰好是 正正正正正反反反反反。再次利用每次投掷的独立性，我们可以得到

  的计算会稍微棘手些，因为它要求正好出现五个正面，但对它们出现的位置没有限制。如果我们要精确地指定五个正面和五个反面出现的位置，那么概率将是，就像  一样。所以我们需要做的就是计算我们可以用多少种方法将五个正面和五个反面分布到十次投掷中，或者等效地，我们可以形成多少个不同的由五个正面与五个反面组成的序列。其实只是简单的从十个位置中选取五个给正面或者反面，那么总共会有  种方法。因此，将满足  的结果数除以结果总数，我们发现

  因此，在十次投掷硬币中，只有不到25%的概率能正好得到五个正面。