프로그래밍/Computer Structure (1) 썸네일형 리스트형 1. Basics of information 1. Information이란? Information이란, uncertainty를 resolve하며 주고받는 data를 말한다(Claude Shannon, 1948)Uncertainty를 더 많이 resolve 할수록, 더 많은 information이 전달되는 것이다. 예를 들어서, card를 랜덤으로 선택하고 card에 대한 정보를 준다고 해보자. 1) 카드는 하트이다.2) 카드는 다이아몬드 킹이다. 1은 13개의 가능성을 남아있게 하고, 2는 오직 1개의 가능성을 남아있게 한다.따라서, 2가 더 많은 정보를 전달한다. 2. Qantifying information 우리가 어떠한 값 $x_i$를 받았을 때, 해당 값이 나올 확률을 $p_i$이라면 받은 정보는 $I(x_i) = log_{2}(\frac.. 이전 1 다음
