신호와 소음 - Nate Silver

안녕하세요, 

 

최근에는 북 리뷰가 뜸 했는데, "신호와 소음"이라는 장편의 책을 읽다 보니 자연스럽게 글을 못 쓰게 되었네요 ㅎㅎ

 

 

"미래는 어떻게 당신 손에 잡히는가"라는 부제에서 알 수 있듯이, 이 책은 예측에 대한 고찰이 담겨 있었습니다.

 

정치, 기상예보, 금융시장, 야구, 포커 등등 여러 가지 우리의 일상생활에서 접할 수 있는 예측들이 왜 부정확할 수밖에 없고 그에 대한 대안은 무엇인지에 관한 설명이 많았습니다.

 

책의 내용이 상당히 어렵다고 느껴지는 부분이 많았는데, 특히 금융 부분에서는 이해하기 포기한 부분들이 많았습니다.

 

저의 무지함을 깨달으며, 세상엔 똑똑한 사람이 많구나 라는 걸 다시 한번 느낄 수 있는 책이었습니다.

 

이러나 저러나, 이 책의 궁극적인 결론은, 빅데이터 시대를 맞이하여 방대한 데이터가 많이 쌓이고 있는 지금, 예측의 근본은 데이터의 양이 아닌 데이터의 질과 그것을 도출할 수 있는 능력이라는 것이었습니다. 

 

저도 데이터 분석을 업으로 삼는 사람으로서, 데이터 양이 많다고 항상 좋은 결과가 나오지 않는 다는 것을 잘 알고 있습니다. 오히려 부정확한 데이터가 예측에 쓰인다면, "소음"이 발생하여 본질을 흐리게 하는 결과를 초래합니다.

 

특히, 저자가 언급한 분야 (정치, 기상, 금융, 야구, 포커) 같은 곳에서의 예측은, 축적된 정보가 무용지물 되는 상황이 많다는 것이 포인트였습니다. 과거 데이터를 이용하여 현재를 예측하는 것이 통계학의 기본인데, 과거 데이터 자체가 현재 입장에서는 소음으로 보일 수밖에 없는 상황이라는 것이겠지요. 

 

그래서, 저자가 주장하는 방법론은 베이지안 (Bayesian) 추론 입니다. 베이지안이란, 일어날 가능성에 대한 확률을 이용하여, 미래를 추론하는 방법입니다. 과거 데이터를 이용하는 것이랑 뭐가 달라?라고 생각하시는 분도 분명 계시겠지만, 제 개인적인 의견으로는, 베이지안은 예측 대상이 불확실한 대상이라는 것을 인지한다는 것이 저희와 익숙한 통계 (frequentist) 방식과의 차이인 것 같습니다.

 

저도 한때, 만약 박사를 지원 하다면, 베이지안을 희망했던 적이 있습니다. 그만큼, 배울 것도 많고 연구할 분야도 많이 있다고 생각했기 때문입니다. 또한, 불확실한 인생 속에서 확률적으로 계산하여 보다 나은 미래를 설계할 수 있지 않을까라는 생각을 하였는데, 그 생각을 다시 한번 하게 했던 책이었습니다.

 

미래를 예측하고 싶으시다면, 이 책을 읽어 보시고 시작해보시는 것도 나쁘지 않을 것 같습니다.