오바마 재선 당시, 50개 주의 결과를 모두 맞힌
‘예측의 천재’ 네이트 실버의 슈퍼 베스트셀러!

2012년 치러진 미국 대통령 선거의 영웅은 당연히 오바마지만 또 한 사람을 꼽으라면 단연 통계학자이자 정치 예측가인 네이트 실버(Nate Silver)다. 선거 결과에 대한 그의 예측은 타의 추종을 불허할 정도로 정확했다. 유명한 정치 평론가나 정치학자들도 그의 예측 기술에 놀랐으며 심지어 그의 예측을 불신했던 것에 대해 공개적으로 사과하기도 했다. 네이트 실버가 자신의 예측 방법론을 총정리한 《신호와 소음(The Signal and The Noise》도 하룻밤에 베스트셀러가 되었다. 《뉴욕타임스》에서 15주 연속 베스트셀러에 올랐으며, <아마존>에서는 ‘올해의 책(논픽션 부문)’으로 선정되었다.
《신호와 소음》은 통계학을 기반으로 어떻게 잘못된 정보(‘소음’)을 거르고 진짜 의미 있는 정보(‘신호’)를 찾을 것인지에 대한 책이다. 네이트 실버는 정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박 등 다양한 분야에 걸쳐 ‘미래’를 제대로 예측하는 방법에 대해서 설명하고 있다. 정보가 엄청나게 늘어난 ‘빅 데이터’ 시대일수록 오히려 가치 있는 정보를 발견하기 어렵다는 저자의 통찰은 갈수록 불확실성이 커지는 세상을 살고 있는 한국인들에게도 큰 도움이 될 것이다.


오바마 재선 당시, 50개 주의 결과를 모두 맞힌
‘예측의 천재’ 네이트 실버의 슈퍼 베스트셀러!

2012년 치러진 미국 대통령 선거의 영웅은 당연히 오바마지만 또 한 사람을 꼽으라면 단연 통계학자이자 정치 예측가인 네이트 실버(Nate Silver)다. 선거 결과에 대한 그의 예측은 타의 추종을 불허할 정도로 정확했다. 유명한 정치 평론가나 정치학자들도 그의 예측 기술에 놀랐으며 심지어 그의 예측을 불신했던 것에 대해 공개적으로 사과하기도 했다. 네이트 실버가 자신의 예측 방법론을 총정리한 《신호와 소음(The Signal and The Noise》도 하룻밤에 베스트셀러가 되었다. 《뉴욕타임스》에서 15주 연속 베스트셀러에 올랐으며, <아마존>에서는 ‘올해의 책(논픽션 부문)’으로 선정되었다.
《신호와 소음》은 통계학을 기반으로 어떻게 잘못된 정보(‘소음’)을 거르고 진짜 의미 있는 정보(‘신호’)를 찾을 것인지에 대한 책이다. 네이트 실버는 정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박 등 다양한 분야에 걸쳐 ‘미래’를 제대로 예측하는 방법에 대해서 설명하고 있다. 정보가 엄청나게 늘어난 ‘빅 데이터’ 시대일수록 오히려 가치 있는 정보를 발견하기 어렵다는 저자의 통찰은 갈수록 불확실성이 커지는 세상을 살고 있는 한국인들에게도 큰 도움이 될 것이다.

엄청난 정보망을 자랑하는 미국은 왜 진주만 공습과 9.11테러를 예측하지 못했을까?
왜 내로라하는 경제학자들도 경제 위기의 무수한 신호들을 무시했을까?
낯선 속옷이 발견됐을 때, 배우자가 바람을 피우고 있을 확률은 얼마나 될까?
선거 결과는 왜 항상 언론과 전문가의 예측을 벗어날까?

빅 데이터가 당신의 눈을 가리고 있다
진짜 ‘신호’에 귀를 열어라

시카고대학에서 경제학을 전공한 네이트 실버는 2002년 회계컨설팅회사인 KPMG에 입사했지만 엉뚱한 일을 벌이기 시작했다. 자신이 좋아하는 메이저리그 야구선수의 성적을 예측하는 시스템인 페코타(PECOTA)를 개발한 것이다. 놀라운 적중률로 명성을 얻은 실버는 통계확률기법을 카지노에서 전략적으로 이용해 단번에 1만 5000달러를 따고 회사를 그만뒀다. 이후 포커판에서 수십만 달러를 긁어모았고, 그동안 쌓인 통계학과 예측의 노하우를 활용해, 정치 예측을 하는 블로그인 파이브서티에이트(FiveThirtyEight.com)를 2008년에 개설했다.
《뉴욕타임스》의 자매 블로그가 된 파이브서티에이트는, 2008년 대선에서 미국의 50개 주 중 49개 주의 결과를 정확히 예측했고, 총선에서도 상원 당선자 35명 전원을 맞혔다. 네이트 실버는 엄청난 유명세를 탔고 많은 사람들이 그의 예측에 주목하기 시작했다. 그러다 보니 2012년 미국의 대선에서는 그가 블로그에 글을 올릴 때마다 공화당과 민주당이 비중 있는 논평을 내놓기에 바빴다. 오바마와 롬니가 박빙으로 경쟁하는 와중에 첫 후보 간 토론회가 열렸고 그 뒤엔 여론조사기관 대부분이 롬니의 승리를 예측했다. 그러나 실버는 오바마의 승리를 점쳤고, 결과는 50개 주의 결과를 모두 맞힌 그의 승리로 끝났다.

대통령 선거, 월드컵 우승, 주식의 등락…
미래 예측의 패러다임을 바꾼 새로운 통찰!

슈퍼스타가 된 네이트 실버는 단 한 권의 책을 썼는데, 그것이 바로 《신호와 소음》이다. 이 책은 2008년 금융 위기와 유명한 정치 전문가의 선거 결과 오판 등 예측 실패 사례들을 분석한다. 또한 정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박 등 여러 분야를 분석하며 (매일 엄청난 데이터가 생성되는) ‘빅 데이터’ 시대에 왜 그렇게 많은 예측들이 빗나가는지 묻는다. 저자는 정보가 많다고 예측이 쉬워지는 것은 아니라고 말한다. 이는 정확한 정보인 ‘신호’와 이를 방해하는 ‘소음’을 잘 분리해 잡아내지 못하기 때문이다. 그는 사전 확률을 도출한 뒤 새 정보가 나오면 가장 가능성 있는 것을 골라 적용해 사후 확률을 개선해 나가는 ‘베이즈 정리’ 등 자신만의 예측 비법을 소개하고 이를 실제 현장에서 활용하는 법도 자세히 설명한다. 실버는 자잘한 것을 무시한 채 커다란 아이디어를 추구하는 사람보다는 여러 분야의 지식을 아우르며 다양한 시도를 하는 사람, 실수를 인정하고 복잡한 상황과 정보를 잘 견디며 이론보다는 관찰을 중시하는 사람이 더 정확하게 미래를 예측할 수 있다고 말한다.

빅 데이터 시대… 넘치는 정보 속에서
움직이는 과녁을 맞히는 예측의 비법

《신호와 소음》에 대한 반응은 놀라웠다. 《뉴욕타임스》, 《월스트리트저널》, 《가디언》 등이 극찬했으며, 《뉴욕타임스》에서 15주 연속 베스트셀러에 오르고, <아마존>에서는 ‘올해의 책(논픽션 부문)’으로 선정되었다.
많은 한국 독자들도 이 책을 오랫동안 기다려 왔는데, 최윤식(미래학자, 《2030 대담한 미래》 《미래학자의 통찰법》 저자), 송길영(다음소프트 부사장, 《여기에 당신의 욕망이 보인다》 저자), 이종대(트리움 이사), 한상기(소셜컴퓨팅연구소 대표) 등 미래학과 경제, IT계의 내로라하는 명사들이 한국어판의 출간을 반기며 추천해 주었다. 여러 경제연구소나 정당, 기업에서도 《신호와 소음》의 한국어판 출간에 대해서 큰 관심을 보였는데, “북한과의 관계 및 미국, 유럽의 경제 상황에 따라 늘 요동치는 환경에 사는 한국인이 꼭 읽어야 할 필독서”라는 미래학자 최윤식의 추천사처럼, 정보가 엄청나게 늘어난 ‘빅 데이터’ 시대일수록 오히려 가치 있는 정보를 발견하기 어렵다는 저자의 통찰은 갈수록 불확실성이 커지는 세상을 살고 있는 한국인들에게도 큰 도움이 될 것이다.

아주 재미있는 책이다. 북한과의 관계 및 미국, 유럽의 경제 상황에 따라 늘 요동치는 환경에 사는 한국인이 꼭 읽어야 할 필독서다.
_최윤식 미래학자, 《2030 대담한 미래》 《미래학자의 통찰법》 저자

《신호와 소음》의 메시지는, 맞혀야 할 과녁이 움직일 뿐 아니라 모양 또한 변화하는 빅 데이터 시대에 반드시 귀 기울여야 한다.
_송길영 다음소프트 부사장, 《여기에 당신의 욕망이 보인다》 저자

데이터의 홍수 속에서 정확하고 가치 있는 예측을 뽑아내기 위한 힌트를 얻을 수 있을 것이다. _이종대 트리움 이사

베이즈 정리와 같은 이론적 토대의 중요성을 명쾌하게 설명하고, 예측을 꾸준히 업데이
트하면서 지식을 쌓고 정확하게 자기를 인식하는 것이야말로 ‘미래를 손에 잡는 법’임을
일깨워준다.
_한상기 소셜컴퓨팅연구소 대표

《신호와 소음》은 최근 십 년 동안 출간된 수많은 책들 가운데서도 가장 중요하게 꼽
을 만하다.
_《뉴욕타임스》

쾌활한 문체 덕분에 까다롭기 짝이 없는 통계학 관련 서술이 쉽게 읽힌다. 게다가 그가
펼치는 주장이나 언급하는 사례는 모두 공들여 조사하고 분석한 결과다. 주註의 분량이
엄청난 걸 보면 저자가 조사와 분석에 얼마나 공을 들였는지 짐작할 수 있다.
_《월스트리트저널》

2012년 치러진 미국 대통령 선거의 영웅은 당연히 오바마지만 또 한 사람을 꼽으라면
단연 통계학자이자 정치 예측가인 네이트 실버다. 예측이 정확하게 맞아떨어지자, 그가
쓴 책도 하룻밤에 베스트셀러가 되었다.
_《가디언》

《신호와 소음》은 많은 것을 이야기한다. 가장 중요한 것은 정보화 시대를 살아가는 현
대인에게 절대적으로 필요한 능력인, ‘신호’로 포장된 ‘소음’을 가려내고 제거할 수 있는
방법이다.
_《에스콰이어》

이 책은 정보, 기술, 그리고 과학의 진보에 관한 책이다. 경쟁, 시장, 그리고 사상의 진화에 관한 책이기도 하다. 이 책은 우리를 컴퓨터보다 똑똑하게 만들어주는 방법과, 인간이 저지르는 실수에 관한 책이다. 우리가 이 세상으로 한 걸음씩 다가가는 방법과 또한 이 과정에서 가끔은 뒷걸음질할 수밖에 없는 이유에 관한 책이기도 하다.
이 책은 이 모든 것이 교차하는 지점에 놓여 있는 예측을 다루는 책이다. 우리가 지금보다 조금 더 통찰력을 가질 수 있어서 실수를 조금이라도 덜할 수 있다면 얼마나 좋을까. 이 책은 이런 물음에 대한 고민이다.

(들어가며. 신호와 소음)

==================================================================


신용평가사들로서는 자기들 예측 모델에 결함이 있다는 사실을 인정하고 실패를 온전히 자기네 몫으로 받아들여야 마땅했다. 하지만 그러지 않았다. 그들은 의회 청문회에서 책임을 지지 않으려고 어떻게든 발뺌했고 운이 나빴다는 주장만 되풀이했다. 자기네가 져야 할 책임을 주택 거품이라는 외부의 우발적 사태로 돌린 것이다. 실례로, S&P의 수장이던 데븐 샤르마Deven Sharma는 2008년 10월에 의회에서 이런 발언을 한다.
“주택시장과 모기지시장에서 발생한 극단적 하락세에 충격을 받은 건 S&P만이 아닙니다. 주택 소유자나 금융기관, 신용평가사, 감독 당국, 투자자들, 그 누구도 이런 일이 닥치리라곤 예견하지 못했습니다.”
그 무서운 사태가 다가오는 걸 아무도 보지 못했다, 라는 말이다.

(1. 경제│경제 붕괴, 왜 전문가들은 예상하지 못했는가)

==================================================================


《내셔널저널》은 11개 선거의 결과가 어떻게 나올지도 물었다. 상황은 앞의 경우와는 상당히 달랐다. 패널들은 네바다, 일리노이, 펜실베이니아 주 상원의원 선거, 플로리다 주 주지사 선거, 아이오와 주 하원의원 선거를 두고 의견이 갈렸다. 공화당 지지 패널들은 민주당 후보가 11개 선거에서 단 한 곳만 이길 것이라고 보았지만, 민주당 지지 패널들은 민주당 후보가 여섯 곳에서 이긴다고 내다봤다(실제 결과는 충분히 예상할 수 있던 대로 중간치였다. 민주당 후보는 《내셔널저널》이 질문한 11개 선거 가운데 세 곳에서 이겼다.

(2. 정치│내가 선거 결과를 맞힌 비법)

==================================================================


하지만 한 선수와 비교 선수들 간에 동일한 특성이 없는 경우가 자주 일어난다. 주어진 연령대에서 비슷한 통계를 보여주는 선수들이 있더라도, 그 연령대 이후로는 전혀 다른 노화곡선이 얼마든지 나타날 수 있다는 말이다. 앞에서 나는 제임스의 유사지수를 놓고 보면 페드로이아는, 오랜 기간 탁월한 실력을 뽐냈으며 마침내 명예의 전당에 오른 찰리 게링거와 로드 커루와 비슷하다고 했었다. 하지만 그 연령대의 페드로이아 통계는 호세 비드로Jose Vidro와도 비슷한데, 비드로는 몬트리올 엑스포스에서 2루수로 활동했지만 그다지 두각을 나타내지 못했다.
이런 차이는 특히 마이너리거에게서 두드러진다. 2009년에 페코타는 당시 애틀란타 브레이브스의 열아홉 살 유망주 제이슨 헤이워드Jason Heyward와 통계수치가 가장 비슷한 선수들을 찾았는데, 명예의 전당에 입성한 선수부터 불의의 사고로 사망한 선수까지 다양했다. 치퍼 존스Chipper Jones는 애틀랜타 브레이브스의 역대 최고 선수 중 한 명인데, 브레이브스에서만 17시즌을 보내며 통산 타율 3할 4리에 450개가 넘는 홈런을 기록했다. 또, 한때 유망주였던 더넬 스텐슨Dernell Stenson은 2003년에 애리조나에서 경기를 마친 뒤에 결박당한 채로 총에 맞고 자신의 SUV 차량에 치인 채 발견되었다. 이른바 ‘묻지 마 폭력’의 희생자였다.

(3. 야구│야구 경기는 왜 모든 ‘예측’의 모델이 되는가)

==================================================================


“모든 모델은 빗나간다. 그러나 몇몇 모델은 유용하다.”
통계학자 조지 박스George E. P. Box가 한 말이다. 모든 모델은 우주의 미니어처이며, 또 당연히 그래야 한다. 어떤 수학자는 또 이렇게 말했다.
“고양이에 대한 최고의 모델은 고양이다.”
실체가 아닌 것으로 실체를 나타내려면 세부에 대한 묘사가 필요하다. 그 묘사가 얼마나 적절할지는 우리가 풀려는 문제가 무엇인지와 우리가 요구하는 해답이 얼마나 정확한지에 달렸다.

(7. 전염병│신종플루부터 에이즈까지)

==================================================================


알기 쉽게 예를 들어보자. 당신은 결혼한 사람이다. 그런데 당신이 출장을 마치고 집에 와보니 처음 보는 속옷이 당신 옷장 서랍 속에 들어 있다. 당신은 아마도 자신에게 물을 것이다.
‘나의 배우자가 날 속이고 바람을 피우고 있을 확률은 얼마나 될까?’
여기에서 ‘조건’은 당신이 문제의 그 속옷을 발견했다는 것이고, 당신이 관심을 가지고 참과 거짓을 평가하려는 ‘가설’은 당신의 배우자가 바람피운다는 것이며, 당신은 그 확률을 구하고자 한다. 베이즈 정리는, 믿거나 말거나, 이런 종류의 의문에 해답을 제시한다. 다음 세 가지 변수의 값을 안다면 (또는 기꺼이 그 값을 추정하고자 한다면) 당신은 그 확률을 정확
하게 계산할 수 있다.
(…)
만약 이 세 개의 값을 추정했다면, 베이즈 정리를 적용해 ‘사후확률posterior possibility’을 계산할 수 있다. 이것이 바로 우리가 알려는 확률, 즉 낯선 속옷이 등장한 상황에서 배우자가 바람을 피우고 있을 확률이다. 이 계산을 유도하는 간단한 대수식과 계산값을 〈도표 8-3〉에서 정리했다.

(8. 베이즈 정리│이기는 도박꾼은 어떻게 베팅하는가)

==================================================================


테러리스트들로부터 받는 신호와 관련해서도 마찬가지다. 이런 점이 특히 심각한 위험을 야기한다. 진주만 공습과 마찬가지로, 9·11테러 이전에도 이 사건을 암시하는 신호는 많았다. 이를테면 다음과 같은 것들이다.
• 비행기가 무기로 사용될 가능성에 대한 경고가 최소한 10건이 있었다. 예컨대, 1994년에 알제리 테러리스트들은 제트비행기를 납치해 에펠탑으로 돌진하겠다고 위협했고, 또 1998년에는 알 카에다와 관련이 있는 집단이 폭발물을 실은 비행기로 세계무역센터를 들이받으려고 했다.
• 세계무역센터는 이전에도 테러리스트들의 표적이 된 적이 있다. 1993년에 람지 유세프Ramzi Yousef가 공모자들과 함께 저지른 폭탄 테러로 여섯 명이 사망했는데, 이들은 세계무역센터를 폭파하려고 했다.
• 알 카에다는 지극히 위험하고 또 창의적인 테러 조직으로 알려져 있다. 1990년에 케냐와 탄자니아의 미국 대사관에 폭탄 테러를 자행해 224명을 살해했고 2000년에는 예멘에서 미 해군 구축함을 공격했던 것처럼 대규모 공격을 감행하는 조직이었다.
• 미국 국무장관 콘돌리자 라이스Condoleezza Rice는 2001년 7월에 알 카에다의 위협이 고조되고 있으며 테러의 목표가 미국 바깥이 아닌 미국 영토 안에 있다는 내용의 경고를 받았다. CIA 국장 조지 테닛George Tenet은 이렇게 말했다. “육감입니다만, 뭔가 다가오고 있는 것 같습니다. 이번에는 엄청나게 큰놈으로 보입니다.”
• 2001년 8월 16일에 자카리아스 무사위Zacarias Moussaoui라는 이슬람 근본주의자가 체포되었다.
9· 11테러 직전이었다. 50시간 남짓 비행 훈련을 받았던 무사위는, 단독 비행은 단 한 차례도 해보지 않았음에도 보잉 747기의 시뮬레이션 훈련을 받으려 했다. 비행기 조종사 면허증을 따기에도 턱없이 부족한 경험으로 대형 민간항공기 조종술을 배우겠다는 그의 행동은 아주 수상쩍었다.
(...)
그러나 9· 11위원회가 추론하듯이, 테러를 사전에 포착하지 못한 실패의 가장 중요한 원천은 상상력의 부족이다.

(13. 테러│진주만 공습과 9·11테러의 공통점)

나는 왜 이 책을 추천하는가: 여기에 당신의 미래가 보인다
송길영(다음소프트 부사장, 《여기에 당신의 욕망이 보인다》 저자)

들어가며: 신호와 소음

I. 예측에 대한 근본적인 의문들
1. 경제│경제 붕괴, 왜 전문가들은 예상하지 못했는가
2. 정치│내가 선거 결과를 맞힌 비법
3. 야구│야구 경기는 왜 모든 ‘예측’의 모델이 되는가

II. 움직이는 과녁을 맞혀라!
4. 기상│예측의 진보, 허리케인과 카오스의 원뿔
5. 지진│라퀼라의 재앙을 아무도 예상하지 못하다
6. 평균과 불확실성│숫자에 속지 마라
7. 전염병│신종플루부터 에이즈까지

III. 미래를 내 손에 움켜쥐는 법
8. 베이즈 정리│이기는 도박꾼은 어떻게 베팅하는가
9. 체스│컴퓨터가 인간처럼 미래를 내다볼 수 있을까
10. 포커│상대방의 허풍을 간파하는 법

IV. 보이지 않는 손이 세상을 움직인다
11. 주식│개인은 절대 시장을 이길 수 없을까
12. 지구온난화│얄팍한 선동인가 과학적 진리인가
13. 테러│진주만 공습과 9·11테러의 공통점

나오며: 예측은 어떻게 가능한가

옮긴이의 말: 세상을 바라보는 새로운 눈

주註