SciTech-Mathmatics-Probability+Statistics-Conditional Probability + Bayes Theorem+App.: 条件概率+Bayes原理及应用：广告邮件分类

abaelhe / 2024-11-17 / 原文

SciTech-Mathmatics-Probability+Statistics
Conditional Probability + Bayes Formula: Application:

Conditional Probability(条件概率)

Bayes Formula

\[\large \begin{array}{lll}\\ \bm{ P(A | B) } =\dfrac{ \bm{ P(B | A) } P(A) } { P(B) } =\dfrac{ \bm{ P(B | A) } P(A) } { \overset{n}{ \underset{k=1}{ \sum}} P( A_k \cap B) } =\dfrac{ \bm{ P(B | A) } P(A) } { \overset{n}{ \underset{k=1}{ \sum} } { P(A_k) P(B | A_k) } } \\ \\ \downarrow \bm{ existing\ a \ partition } \text{ of } A : if \ P(B|A_k) \text{ is available for each } k \\ \\ \bm{ P(A_i | B) } =\dfrac{ \bm{ P(B | A_i) } P(A_i) } { P(B) } =\dfrac{ \bm{ P(B | A_i) } P(A_i) } { \overset{n}{ \underset{k=1}{ \sum} } { P(A_k \cap B) } } =\dfrac{ \bm{ P(B | A_i) } P(A_i) } { \overset{n}{ \underset{k=1}{ \sum} } { P(A_k) P( B | A_k) } } \\ \end{array}\]

举例:
收到所有信件，出现“收入”词组的概率

Statistics of Samples

\[\large \begin{array}{lll}\\ \text {所有信件} \begin{cases} \\ \overset{ \bm { P(A_1) = \frac{3}{8} } }{ \bm{ 广告信件 } } & \begin{cases} & \overset{ \bm{ P(K_1) } = \frac{2}{3} } { 出现\bm{广告}词组 } \ : \bm { P(K_1|A_1) } = \frac{2}{8} \\ & \overset{ \bm{ P(K_2) } = \frac{1}{3} } { 没有\bm{广告}词组 } \ : \bm { P(K_2|A_2) } = \frac{1}{8} \\ \end{cases} \\ \overset{ \bm { P(A_2) = \frac{5}{8} } }{ \bm{ 正常信件 } } & \begin{cases} & \overset{ \bm{ P(K_1) } = \frac{1}{5} } { 出现\bm{广告}词组 } \ : \bm { P(K_1|A_2) } = \frac{1}{8} \\ & \overset{ \bm{ P(K_2) } = \frac{4}{5} } { 没有\bm{广告}词组 } \ : \bm { P(K_2|A_2) } = \frac{4}{8} \\ \end{cases} \\ \end{cases} \\ \end{array} \]

Statistical Inference based on above Statistics and its Samples

现在，收到一份信件，并且有 $\large \bm{广告}词组 $ , 则此信是“广告信”的概率是？

\[\large \begin{array}{lll}\\ \text {有 $\large \bm{广告}词组 $} \begin{cases} \\ \bm{ 广告信 } : \bm { P(A_1 | K_1) } = \bm{ \frac{2}{3} } \leftarrow \dfrac{ \frac{2}{8} } { \frac{2}{8} + \frac{1}{8} } =\dfrac{ \bm{ P(K_1 | A_1) } P(A_1) } { \overset{n}{ \underset{i=1}{ \sum} } { P(A_1) P( K_i | A_1) } } \\ \bm{ 正常信 } : \bm { P(A_2 | K_1) } = \bm{ \frac{1}{3} } \leftarrow \dfrac{ \frac{1}{8} } { \frac{2}{8} + \frac{1}{8} } =\dfrac{ \bm{ P(K_1 | A_2) } P(A_2) } { \overset{n}{ \underset{i=1}{ \sum} } { P(A_2) P( K_i | A_2) } } \\ \end{cases} \\ \end{array} \]

可以看到信件有 $\large 出现\bm{广告}词组 $ 出现为前提，
是“广告信件”的概率由：

先验的样本统计概率 $\large \bm { P(A_1) =P(K_1|A_1)+P(K_2|A_1) = \frac{3}{8} } $

上升到：

后验的样本更新概率 $\large \bm { P(A_1 | K_1) = \frac{2}{3} } $

导致样本空间的概率分布变更的原因：

系统原因(需要更新统计量？或新验证模型？):

“前提条件的设置/完备”导致“归一化概率”的“样本空间改变”；
“正交概率分布”的“样本集”的“完全分布”变更导致;
外部因素影响“正交概率分布”的“部分占比”变更导致；

随机因素(需要更大的样本空间以抵消误差因素？）:

因为一些随机因素引发的Error(误差).

总之“Prior维度集合的Partition”与“Posterior维度集合的Partition”的“正交集合笛卡尔积”的“条件概率分布”的“参数”或“配比”发生了变更；
实例是:
- 在“Posterior(后验)”时，能对event(事件的)设置/完备的“前提条件”越来越多，就需要 Revise 其对应的Probability. 以上例：判断信新收到的一份信，是“广告邮件”的概率，可以由信的“关键词向量”丰富程度来确定。
- 总由$\large Population $ 或 $\large Samples $ 统计得到的“Prior维度”的所有“Statistics(统计量)”;
  而 $\large Population $ 或 $\large Samples $ 可能因为时间或发展变化而更新，因此统计得到的“Prio
  r维度”的所有“Statistics(统计量)”也会变更；
  以上面“广告信比例”为例：
  "样本空间" 越来越大(接收到的所有有效信件越来越多)，"AI系统"周期性更新"样本空间"的"统计量"，包括:
  - $\large P(A1)$ : “全量样本空间”，统计出 $ \bm{ 广告信 } $ 的概率；
  - $\large P(A2)$ : “全量样本空间”，统计出 $ \bm{ 正常信 } $ 的概率；
  - $\large P(K1 | A1)$ : $ \bm{ 广告信 } $ 集合，出现 $\large \bm{广告}词组 $ 的概率；
  - $\large P(K1 | A2)$ : $ \bm{ 正常信 } $ 集合，出现 $\large \bm{广告}词组 $ 的概率；
  - $\large P(K2 | A1)$ : $ \bm{ 广告信 } $ 集合，没有 $\large \bm{广告}词组 $ 的概率；
  - $\large P(K2 | A2)$ : $ \bm{ 正常信 } $ 集合，没有 $\large \bm{广告}词组 $ 的概率；

前提是“Prior维度集合的Partition”与“Posterior维度集合的Partition”有“正交集合笛卡尔积”的“条件概率分布”；
对上例：

Prior维度集合的Partition 是： $\large P(广告信) P(正常) $

的“正交集合积”的“条件概率分布”即：

计算出“Posterior后验”后验
(由A的Partition $\large \bm { P(K_1 | A_1) } $ 和 $\large \bm { P(K_1 | A_2) } $ 可计算出两维度的“共现(交集)” 概率) $\large \bm { P(K_1 | A_1) } $ ) P(K_1|A_1)+P(K_2|A_1)