[정보이론] 통신로 용량 (Channel Capacity)

통신로 용량 (Channel Capacity)

통신로가 실제 전송하는 정보의 양

상호 정보량에 의해 설명된다.

 

통신로에 대한 가정

기억이 없는 통신로 가정

입력 알파벳 $ A = {a_{1}, a_{2}, ... , a_{r}} $

출력 알파벳 $ B = {b_{1}, b_{2}, ... , b_{s}} $

$ P_{i} = P_{X}(a_{i}) $

$ Q_{i} = P_{Y}(b_{j}) $

$ P_{ij} = P(b_{j}|a_{i}) $

 

엔트로피와 통신로 용량

통신로에 입력되는 정보량의 기대치

- 확률변수 X의 엔트로피 H(X)

- 출력의 엔트로피 H(Y)

 

통신로가 실제 전송하는 정보의 양

- 통신로의 출력을 앎으로서 X에 관해 얻을 수 있는 정보량

- 출력 Y를 알아도 남아있는 X에 대한 애매함은 $ H(X|Y) $로 풀 수 있다.

상호 정보량 $I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)$

 

통신로 용량

통신로 용량 $ C = \underset{P}{max}\left\{ {I(X;Y)}\right\} $

 * 확률 변수 X를 따르는 확률분포 P

 

C는 $I(X;Y)$의 P에 대한 최대치 (단위 bit 또는 bit/symbol)

- 통신로에 입력 X의 확률 구조를 변화 시켰을 때의 X와 Y의 상호 정보량의 최대치

 

 

 

2원 대칭 통신로의 통신로 용량

C가 최대가 되려면, H(P)가 최소가 되어야한다. 

H(Y) : 통신로 출력의 엔트로피

$ 0 \leq H(Y) \leq 1 $ 이므로 H(Y)의 최대치는 H(Y) = 1 bit 이다.

$ C = 1 - H(P) $bit