[정보이론] 통신로와 통신로 부호

통신로 용량과 부호

 

 

 

통신로

각 시점에서 하나의 기호가 입력되어 하나의 기호가 출력되는 선로(채널)

 

입력 기호 : 입력 알파벳의 원

출력 기호 : 출력 알파벳의 원

 

 

 

r원 통신로 (r-ary channel)

입력 알파벳과 출력 알파벳이 일치하는 통신로

(입력과 출력이 r개가 같아야 함)

 

예시)

< 2원 통신로 >

입력 → 출력

 a,b        a, b

 

잘못된 예시)

'2원 통신로'가 아니다.

입력 → 출력

a, b        a, b, c

 

2원 대칭 통신로 (Binaryt Symmetric Channel : BBC)

2원 통신로 $ \neq $ 2원 대칭 통신로

2원 통신로라고 항상 2원 대칭 통신로가 아니다.

 

입력 알파벳 $ X = {0, 1} $

출력 알파벳 $ Y = {0, 1 } $

 

$ P(Y = 0 | X = 1) = P $

$ P(Y = 1 | X = 0) = P $

 

$ P(Y = 1 | X = 1) = 1 - P $

$ P(Y = 0 | X = 0) = 1 - P $

 

$ T = \begin{Bmatrix}
1-p & p \\
p & 1-p \\
\end{Bmatrix} $ 

오류에 의한 2원 통신로

2원 통신로는 오류를 이용하여 나타낼 수 있다.

 

오류 $E = {0, 1}$

출력 Y는 입력 X에 오류 E가 더해진 것

$ Y = X \bigoplus  E $

 

오류가 일어날 수도, 안 일어날 수도 있다.

$ E=0 $이면, $ Y = X $
$ E=1 $이면, $Y \neq X $

E는 오류원으로부터 각 시점에 하나씩 발생

- 오류의 계열은 '오류 계열'이라한다.

오류의 발생은 입력과 통계적으로 독립이라 가정 

- '오류, 입력은 서로 독립' = '출력은 오류의 결과'

 

오류는 다른 시점의 오류 발생과 독립적이다. = 'Random error'

2원 통신로의 통계적 성질은 오류원의 통계적 성질만으로 결정된다. = '가법적 통신로' - (더하다, 오류가 더해지는 통신로에 의존하는 통신로)

 

오류 발생 확률 P

'비트 오율 (bit error rate)'라고 한다.

 

 

기억이 없는 통신로

각 시점의 출력이 그 시점의 입력에만 관계하는 통신로

즉, 이전 입력과 상관없이 현 시점 입력에만 관계하는 통신로

 

입력 X가 주어졌을 때 출력 Y의 조건부 확률

$ P_{Y|X}(y|x) $

 

통신로 행렬

입력 알파벳 $ A = {a_{1}, a_{2}, ... , a_{r}} $

출력 알파벳 $ B = {b_{1}, b_{2}, ... , b_{s}} $

 

통신로 행렬 $ P_{ij} = P_{Y|X}(b_{j}|a_{i}) $

i번째 입력, j번째 출력

$P_{ij}$ 를 요소로 하는  r * x 행렬 T(통신로 행렬)

 

$ T = \begin{Bmatrix}
P_{11} & ... & P_{1s} \\
... & ... & ... \\
P_{r1}& ... & P_{rs} \\
\end{Bmatrix} $

$ P_{i1} + P_{i2} + ... + P_{is} = 1 $ 행을 모두 더한 값 = 1

 

통신로 선도 (Channel diagram)