목록decision tree (1)

13 Security Lab

Information Gain 개념와 원리 이해하기

information gain 은 information theory 에서 온 개념으로서 machine learning 의 decision tree 를 통해서 알게 되었다. 1. Information Gain 어떤 분류를 통해서 얼마나 information (정보) 에 대한 gain (이득) 이 생겼는 지를 나타낸다. 이 개념은 Entropy 를 통해 계산한다. (엔트로피는 아래서 설명) 어떤 속성(특징)을 선택함으로서 데이터를 더 잘 구분하게 되는 것이다. IG(Information Gain)가 클 수록 "변별력이 좋다" 고 표현 할 수 있다. Information gain theory에서는 모든 사건이 평균적인 확률을 지닐 때 가장 엔트로피가 높게 나타난다고 표현한다. Information gain 의..
Computer Science/Study 2018. 7. 6. 21:41
Prev 1 Next