本記事は、情報理論の基礎である「情報源符号化」のまとめ記事シリーズの第1章です。
「情報源符号化」のまとめ記事では、「エントロピー」から始まり「条件付きエントロピー」「相互情報量」「通信路容量」「平均誤り率」「情報速度」について解説していきます。
統一した例題を使用しますので、ご安心して学んでいただけます。
第1章では「エントロピー」に焦点を当て、
その定義や意味、具体的な計算方法について解説します。
また、大学院の過去問を使用して、具体例を交えながらわかりやすく説明していきます。
実際の問題を通じて、エントロピーの概念をしっかりと理解できる内容となっています。
ぜひ、大学での課題や、院試での学習に活用ください。
エントロピー(平均情報量)とは?
エントロピー(平均情報量)は、
情報源全体がもっている情報量を表すパラメータのことです。
このエントロピーは情報源の曖昧さを表しています。
エントロピーが小さいと曖昧さが小さく、予測しやすい(生起確率が偏っている)。
エントロピーが大きいと曖昧さが大きく、予測しずらい(生起確率が均等に分散している)。
〇エントロピーの求め方
情報源Sが
情報源記号が{a1,a2,…,aM}
生起確率が{p1,p2,…,pM} とするとき。
以下のように表すことができます。

情報源Sのエントロピーは次の式で求める事ができる。

情報理論のエントロピーは
対数の底を2とするので、情報量をビットで表されます。
[ビット/情報源記号]とあるので、
情報源記号にa1,a2,…,aMの
1つあたりの記号の平均情報量をビットで表すという意味です。

例題
[例題]
図のような2元無記憶通信路を考える。入力X,入力Yとし、いずれもアルファベット{0,1}上の確率変数であるとする。入力X=0となる確率をpとする。2元エントロピー関数h(α)=ーαlog2α ー (1ーα)log2(1ーα)を利用できる場合は、それを用いよ。
(1)エントロピーH(Y)を答えよ。 ←今回はここ
(2)条件付きエントロピーH(Y|X)を答えよ。
(3)相互情報量I(X;Y)を答えよ。
(4)通信路容量C0とそれを実現するpの値をそれぞれ答えよ。
(5)2ビットの2元符号M={00,11}を考え、2つの符号語が1/2で生起する。
このとき、復号誤り率Pe(平均誤り率)を答えよ。
(6)(5)の2元符号の伝送速度R(情報速度)を答えよ。

引用:名古屋工業大学 2021年度 大学院工学研究科(博士前期課程)
専門試験問題 (情報工学系プログラム)
解答
(1)エントロピーH(Y)を答えよ。

H(Y)=ー(p/2)・log2(p/2)ー(1-p/2)log2(1-p/2) = h(p/2) [ビット/情報源記号]
※2元エントロピー関数 h(α)=ーαlog2α ー (1ーα)log2(1ーα) を用いる
解説
例題に出てくるキーワードを嚙み砕いていきましょう。
「2元無記憶通信路」とあります。
「2元」
使用される記号の種類が2種類ということです。
今回の場合だと、アルファベット{0,1}となっています。
なので、0と1の2種類の記号しか使用されません。
例えば、
「3元」である場合は3種類の記号{0,1,2}や{A,B,C}。
「4元」である場合は{0,1,2,3}や{A,B,C,D}と表されたりします。
「無記憶」
過去の入力・出力の記録が現在の入力・出力に影響しないことを表します。
つまり、過去の情報は関係なく、通信路は常に現在の入力だけに基づいて動作します。
「通信路」は送受信をする仕組み・経路を表します。
そのため、「2元無記憶通信路」とは
「0と1の2種類のデータを使用し過去の履歴に依存しない通信路モデル」
ということになります。
今回求めるのは、エントロピーH(Y)ということで、
出力Y側のエントロピーを求めるという事です。
エントロピーを求める際は生起確率を用いますから、
まずは、出力Yで0と1の生起確率を求めましょう。
〇出力Yの 0 と 1 の生起確率

問題文で入力Xでは、「入力X=0となる確率をpとする」とあります。
つまり、入力X=1となる確率は1-pとなります。
入力0・1の生起確率を用いて出力0・1の生起確率を求めます。
・出力0が生起する確率
=「入力0→出力0」=p/2
入力0が生起する確率:p
入力0が出力0になる確率:1/2
⇒入力0が出力0になる確率:p×1/2=p/2
・出力が1が生起する確率
=「入力1→出力1」+「入力0→出力1」
「入力1→出力1」
入力1が生起する確率:1-p
入力1が出力1になる確率:1
⇒入力1が出力1になる確率:(1-p)×1=1-p
「入力0→出力1」
入力0が生起する確率:p
入力0が出力1になる確率:1/2
⇒入力0が出力1になる確率:p×1/2=p/2
出力が1が生起する確率=「入力1→出力1」+「入力0→出力1」=1-p+p/2=1-p/2
以上より、
出力0は「1/2p」の確率で生起します。
出力1は「1-1/2p」 の確率で生起します。
〇出力Yの生起確率からエントロピーを求める
出力Y は情報源Yとして表すと、このように表すことができます。。

エントロピーを求める式から、
H(Y)=ー(p/2)・log2(p/2)ー(1-p/2)log2(1-p/2) = h(p/2) [ビット/情報源記号]
※2元エントロピー関数 h(α)=ーαlog2α ー (1ーα)log2(1ーα) を用いる
例えば、p=1/2だった場合(入力0が生起する確率が1/2)
エントロピーは以下のように求めることができます。
H(Y)=-(1/4)・log2(1/4)ー(3/4)・log2(3/4)=2ー3/4*log23
となります。
コメント