[정보이론] 통신로 부호화

통신로 부호화

정보원 계열을 부호 계열로 변환하는 조작

 

목적

- 통신로에서 생기는 오류의 영향을 가능한 한 억제하여 신뢰성 향상시키기 위함

 

통신로에서의 오류 발생

- 통신로의 출력 계열은 입력된 부호 게열과 반드시 일치하는 것은 아니다.

 

통신로 복호

- 수신 계열로부터 원래의 정보원 계열을 추정

정보원 계열을 부호 계열로 변환하는 조작

 

 

통신로 시스템 모델

추정된 정보원 계열

- '추정' = 예측, 제대로 복호가 될 수도 있고 안될 수도 있다.

 

 

 

통신 시스템 모델 (정보원 부호, 통신로 부호, 암호 모두 포함) - 샤논의 통신 시스템 모델

 

 

통신로 부호화의 원리

통신로 부호화의 기본 원리

- 오류에 대처하기 위해 여분의 정보를 부가하여 신뢰성을 향상시킨다.

 

여분의 정보 부가 예시

- '반복 부호'

0 → 000

1 → 111 로 부호화

'복호는 수신된 기호의 다수결에 의해 이루어진다' 라고 가정

예를 들어,

010 이 수신되면 0이 보내졌다고 판단

110 이 수신되면 1이 보내졌다고 판단 

단일 비트(1비트) 오류 검출 및 정정 가능

2비트 오류 검출 불가능

111 전송, 001 수신 = 2비트 오류, 0으로 복호함(잘못복호)

 

 

좋은 통신로 부호화

복호 오율을 어떤 값 이하로 억제한다는 조건하에서 부가해야 할 중복도가 작아지는 부호화법

 

- 부호화, 복호에 필요한 지연 문제

- 장치화 문제 : 복호가 복잡해지므로 복호 장치화의 간담하의 정도가 중요한 평가 기준이 됨

 

 

중복도의 부가 방법

입력 알파벳 = 출력알파벳 

$ A = {a_{1}, ... , a_{r}} $

$ A^{n} $ : A의 원으로 구성되는 길이가 n인 계열 모두의 집합

 

예시)

A={0,1} 이면 $A^{3} = 8$개의 게열의 집합

$A^{3} = {000, 001, 010, 011, 100, 101, 110, 111}

 

$A^{n}$의 모든 계열을 이용하여 정보 전송

- 통신로에서 오류가 발생했을 경우 오류 발견 불가능

- 모든 계열이 부호어에 해당됨

 

000과 111만 이용하여 정보를 전송하게 되면

- 통신로에서 1개의 오류가 생기더라도 오류 정정가능

- C = {000, 111}

- C는 통신로 부호 또는 부호, 각 계열의 부호어라고 함 

 

 

복호의 개념도

$ A^{n} $ 수신 공간

$ w_{1}, w_{2}, ... $ 부호어, 예시) 111, 000

$ \Omega _{1} , \Omega_{2}, ... $ $w_{1}, w_{2}, ... $의 복호 영역

- 수신어 y가 $\Omega_{i}$에 들어가면 $w_{i}$가 보내졌다고 추정

예시) 수신어 y 001, 010, 100 → 부호어 w 000

정보 전송 속도

부호어 : 길이 n인 M개의 계열

부호어를 같은 확률로 이용할 때  → 부호길이 $ log_{2}M $

 

정보 전송 속도 $ R = \frac{log_{2}M}{n} $ (bit / symbol)

단, 보내진 부호어를 오류 없이 추정 가능하다고 함

$ M = 2^{nR} $

 

부호화율

$A^{n}$ 에  포함되는 $r^{n}$ 개의 계열을 모두 부호어로 선택할 때의 정보 속도

$ R_{max} = log_{2}r $

오류는 검출도 정정도 불가능 하므로, $ R < R_{max} $ (등호 x)

 

부호화율 (code rate)

$ \eta = \frac{R}{R_{max}} $

정보 속도 R인 부호 C에 대한 부호화율

부호 C의 중복도 $ \rho = 1 - \eta $