本記事では、離散型確率変数とその期待値について、離散型確率変数が1つのときと、2つのときについて解説していきます。
離散型確率変数が1つのときの期待値
1つの離散型確率変数\(X\)を用意します。
\(X \in \{x_1, \cdots, x_i, \cdots, x_n\}\), 生起確率は\(P_X(x_i)\)
このとき、\(X\)の期待値は
\(E[X] = \sum_{i=1}^nx_iP_X(x_i)\)
となります。
離散型確率変数が2つのときの期待値
2つの離散型確率変数を\(X, Y\)とし、それぞれ
\(X \in \{x_1, \cdots, x_i, \cdots, x_n\}\), 生起確率は\(P_X(x_i)\)
\(Y \in \{y_1, \cdots, y_j, \cdots, y_m\}\), 生起確率は\(P_Y(y_j)\)
\(Y \in \{y_1, \cdots, y_j, \cdots, y_m\}\), 生起確率は\(P_Y(y_j)\)
とします。このとき、各々の期待値は
\(\begin{eqnarray}E[X] &=& \sum_{i=1}^nx_iP_X(x_i)\\ E[Y] &=& \sum_{j=1}^my_jP_Y(y_j)\end{eqnarray}\)
となります。
\(E[X \pm Y] = E[X] \pm E[Y]\) の証明
以下では\(E[X + Y] = E[X] + E[Y]\)を証明していきます。
\(\begin{eqnarray}
E[X + Y] &=& \sum_{i=1}^n\sum_{j=1}^m(x_i + y_j)P_{XY}(x_i, y_j)\\
&=& \sum_{i=1}^nx_i\sum_{j=1}^m P_{XY}(x_i, y_j) + \sum_{j=1}^m y_j\sum_{i=1}^n P_{XY}(x_i, y_j) \\
&=& \sum_{i=1}^nx_iP_X(x_i)\sum_{j=1}^m P_{Y|X}(y_j | x_i) + \sum_{j=1}^my_jP_Y(y_j)\sum_{i=1}^n P_{X|Y}(x_i | y_j)\\
&=& \sum_{i=1}^nx_iP_X(x_i) + \sum_{j=1}^my_jP_Y(y_j)\\
&=& E[X] + E[Y]
\end{eqnarray}\)
E[X + Y] &=& \sum_{i=1}^n\sum_{j=1}^m(x_i + y_j)P_{XY}(x_i, y_j)\\
&=& \sum_{i=1}^nx_i\sum_{j=1}^m P_{XY}(x_i, y_j) + \sum_{j=1}^m y_j\sum_{i=1}^n P_{XY}(x_i, y_j) \\
&=& \sum_{i=1}^nx_iP_X(x_i)\sum_{j=1}^m P_{Y|X}(y_j | x_i) + \sum_{j=1}^my_jP_Y(y_j)\sum_{i=1}^n P_{X|Y}(x_i | y_j)\\
&=& \sum_{i=1}^nx_iP_X(x_i) + \sum_{j=1}^my_jP_Y(y_j)\\
&=& E[X] + E[Y]
\end{eqnarray}\)
２-３行目では、2つの確率変数が独立でない場合を考慮して、ベイズの定理
同時確率\(P_{XY}(X, Y) = P_X(X)P_{Y|X}(Y | X) = P_Y(Y)P_{X|Y}(X | Y)\)
を使用しています。また、３-４行目では、条件付確率の性質
\(\sum_{i=1}^n P_{X|Y}(x_i | y_j) =\sum_{j=1}^m P_{Y|X}(y_j | x_i) = 1\)
を使用しています。同様の手順で\(E[X - Y] = E[X] - E[Y]\)も証明できます。従って、\(E[X \pm Y] = E[X] \pm E[Y]\)が成り立ちます。
離散型確率変数が独立であるとき\(E[XY] = E[X]E[Y]\)の証明
離散型確率変数が互いに独立な関係にあるとき、
\(P_{XY}(X, Y) = P_X(X)P_Y(Y)\)
が成立します。この性質を使用すると以下のように式変形ができます。
\(\begin{eqnarray}
E[XY] &=& \sum_{i=1}^n\sum_{j=1}^mx_iy_j P_{XY}(x_i, y_j)\\
&=& \sum_{i=1}^n\sum_{j=1}^mx_iy_j P_X(x_i)P_Y(y_j)\\
&=& \sum_{i=1}^n x_iP_X(x_i) \sum_{j=1}^m y_j P_Y(y_j)\\
&=& E[X]E[Y]
\end{eqnarray}\)
E[XY] &=& \sum_{i=1}^n\sum_{j=1}^mx_iy_j P_{XY}(x_i, y_j)\\
&=& \sum_{i=1}^n\sum_{j=1}^mx_iy_j P_X(x_i)P_Y(y_j)\\
&=& \sum_{i=1}^n x_iP_X(x_i) \sum_{j=1}^m y_j P_Y(y_j)\\
&=& E[X]E[Y]
\end{eqnarray}\)
したがって、\(E[XY] = E[X]E[Y]\)が成り立ちます。
