[例題解説]伝送速度の求め方|情報源符号化#6

本記事は、情報理論の基礎である「情報源符号化」のまとめ記事シリーズの第3章です。
「情報源符号化」のまとめ記事では、「エントロピー」から始まり「条件付きエントロピー」「相互情報量」「通信路容量」「平均誤り率」「情報速度」について解説していきます。
統一した例題を使用しますので、ご安心して学んでいただけます。

第6章では「情報速度」に焦点を当て、
その定義や意味、具体的な計算方法について解説します。

前回の「平均誤り率」について解説した記事は↓になります。

情報速度(伝送速度) とは？
例題
解答・解説

情報速度(伝送速度) とは？

一言でいうと、
「1つの記号あたりに何ビットの情報を送れるか」

式で表すとこのようになります。

このままでは、分かりづらいので
具体例を挙げます。

例1）
1ビットの2元符号{0,1}を考える。
図1の通信路で符号を送信する場合の伝送速度Rは？

解）
符号語の種類は0と1の2種類。
図1の通信路は1回の送信で、0か1を送信する。
つまり、2種類を1回の送信で判別すると言える。

例2）
2ビットの2元符号{00,01,10,11}を考える。
図2の通信路で符号を送信する場合の伝送速度Rは？

解）
符号語の種類は00,01,10,11の4種類。
図2の通信路は1回の送信で、00,01,10,11のどれかを送信する。
つまり、4種類を1回の送信で判別すると言える。

例3）
2ビットの2元符号{00,01,10,11}を考える。
図1の通信路で符号を送信する場合の伝送速度Rは？

解）
符号語の種類は00,01,10,11の4種類。
図1の通信路は1回の送信で、0か1を送信する。
つまり、4種類を2回の送信で判別すると言える。

例題

[例題]
　図のような2元無記憶通信路を考える。入力X,入力Yとし、いずれもアルファベット{0,1}上の確率変数であるとする。入力X＝0となる確率をpとする。2元エントロピー関数h(α)=ーαlog₂α ー (1ーα)log₂(1ーα)を利用できる場合は、それを用いよ。

(1)エントロピーH(Y)を答えよ。　　　　　　←前回の記事#1で解説
(2)条件付きエントロピーH(Y|X)を答えよ。　←前回の記事#2で解説
(3)相互情報量I(X;Y)を答えよ。　　　　　　 ←前回の記事#3で解説
(4)通信路容量C₀とそれを実現するpの値をそれぞれ答えよ。←前回の記事#4で解説
(5)2ビットの2元符号M={00,11}を考え、2つの符号語が1/2で生起する。
　図の通信路でこの符号を送る時、復号誤り率P_e(平均誤り率)を答えよ。　　　
　送信符号と受信符号とが一致しない場合に誤りとみなす。　　←前回の記事#5で解説
(6)(5)の2元符号の伝送速度R(情報速度)を答えよ。　　←今回はここ