在深度学习经常会听到期望这个词，而且总觉得与均值差不多，在这里记录一下做一个区分。
- 平均数是一个统计学概念
- 期望则是一个概率论概念
平均数是根据实验结果统计的样本的平均值，期望则是实验前根据样本概率分布预测样本的平均值。
之所以说“预测”是因为在实验前能得到的期望与实际实验得到的样本的平均数总会不可避免地存在偏差，毕竟随机实验的结果永远充满着不确定性。如果我们能进行无穷次随机实验并计算出其样本的平均数的话，那么这个平均数其实就是期望。当然实际上根本不可能进行无穷次实验，但是实验样本的平均数会随着实验样本的增多越来越接近期望，就像频率随着实验样本的增多会越来越接近概率一样。
如果说概率是频率随样本趋于无穷的极限，那么期望就是平均数随样本趋于无穷的极限。