[例題解説]復号誤り率の求め方|情報源符号化#5

本記事は、情報理論の基礎である「情報源符号化」のまとめ記事シリーズの第3章です。
「情報源符号化」のまとめ記事では、「エントロピー」から始まり「条件付きエントロピー」「相互情報量」「通信路容量」「平均誤り率」「情報速度」について解説していきます。
統一した例題を使用しますので、ご安心して学んでいただけます。

第5章では「平均誤り率」に焦点を当て、
その定義や意味、具体的な計算方法について解説します。

前回の「通信路容量」について解説した記事は↓になります。

平均誤り率(復号誤り率) とは？
例題
解答・解説

平均誤り率(復号誤り率) とは？

一言でいうと、
「送信側のデータが受信側で誤って受信される確率の平均値」

平均誤り率はP_eと表記される。
　P_eが小さい：データが正確に届く
　P_eが大きい：データが誤って届く

また、平均誤り率は
P_e＝１－記号が正しく復号される確率

という式でも求めることができる。

例題

[例題]
　図のような2元無記憶通信路を考える。入力X,入力Yとし、いずれもアルファベット{0,1}上の確率変数であるとする。入力X＝0となる確率をpとする。2元エントロピー関数h(α)=ーαlog₂α ー (1ーα)log₂(1ーα)を利用できる場合は、それを用いよ。

(1)エントロピーH(Y)を答えよ。　　　　　　←前回の記事#1で解説
(2)条件付きエントロピーH(Y|X)を答えよ。　←前回の記事#2で解説
(3)相互情報量I(X;Y)を答えよ。　　　　　　 ←前回の記事#3で解説
(4)通信路容量C₀とそれを実現するpの値をそれぞれ答えよ。←前回の記事#4で解説
(5)2ビットの2元符号M={00,11}を考え、2つの符号語が1/2で生起する。
　図の通信路でこの符号を送る時、復号誤り率P_e(平均誤り率)を答えよ。　　　
　送信符号と受信符号とが一致しない場合に誤りとみなす。　　←今回はここ
(6)(5)の2元符号の伝送速度R(情報速度)を答えよ。