확률과 통계
+ 정보과학
심화
이공
정보 엔트로피와 데이터 압축
섀넌의 정보 엔트로피
탐구 방법
[허프만 압축 구현] 파이썬으로 텍스트의 문자 빈도를 세어 엔트로피를 계산하고, 허프만 부호화를 직접 구현하여 평균 부호 길이가 엔트로피에 가까운지, 그리고 실제 압축률이 어느 정도인지 측정
확장 연결
허프만 부호화가 출현 빈도가 높은 기호에 짧은 부호를 할당하여 엔트로피에 근접하는 원리를 이해하고, 영어 문장과 무작위 문자열의 엔트로피 차이를 탐구
추천 탐구 주제
조건부 엔트로피와 상호 정보량
통신 채널 용량과 섀넌의 채널 부호화 정리
교차 엔트로피와 머신러닝 손실 함수