미국 대선과 브렉시트를 예견한 유일한 데이터,
구글 트렌드로 잡아낸 인간의 진짜 속마음


<아마존>
올해의 책


<뉴욕타임스>
베스트셀러


<월스트리트저널>
베스트셀러


<포춘>
최고의 경제경영서


<이코노미스트>
올해의 책



“트럼프 지지층은 누구인가?”에 답한 경제학자,

세스 스티븐스 다비도위츠의 슈퍼 베스트셀러






충격적이었던 지난 미국 대선 결과를 모두 기억할 것이다. 도널드 트럼프는 흑인과 여러 소수집단을 모욕하고도 누구도 예상하지 못했던 지지층의 부상으로 대통령에 당선됐다. 수많은 전문가와 여론조사기관은 물론, 예측의 신이라 불리던 네이트 실버조차 결과에 당황했다. 그 많던 트럼프 지지자들은 왜 선거 직전까지 드러나지 않았을까? 애초에 설문조사에 ‘실제로’ 누구에게 투표할지 솔직하게 답할 이유가 없는 게 아닐까?
전 세계가 주목하는 데이터 과학자이자 《뉴욕타임스》 칼럼니스트인 세스 스티븐스 다비도위츠(Seth Stephens-Davidowitz)는 트럼프 지지층이 평소 심각한 흑인 비하 단어인 ‘깜둥이(nigger)’를 검색하던 인종주의자라는 사실을 알아차렸다. 트럼프 지지율이 높은 지역에서 ‘깜둥이’ 검색이 가장 많았던 것이다. 하지만 그곳 사람들이라고 해서 설문조사원이나 친구에게 자신이 흑인을 혐오하며 트럼프를 지지한다고 말하지는 않았을 것이다. 인터넷에 흑인을 놀릴 만한 농담거리를 찾아볼 뿐이다.
《모두 거짓말을 한다Everybody Lies》는 검색 데이터를 이용해 사람들의 숨겨진 진짜 욕망과 생각을 까발리는 책이다. 출간 즉시 《뉴욕타임스》 베스트셀러가 되고 〈아마존〉 ‘올해의 책’으로 선정됐다. 인종주의뿐 아니라 정신질환, 성생활, 아동학대, 낙태, 광고, 종교, 건강 등 다양한 분야에 걸친 충격적인 인간 본성이 거침없이 담긴 이 책은 우리가 지금까지 알고 있던 인간과 사회에 관한 지식 대부분이 거짓말로 왜곡되어 있다는 것을 알게 한다.

계속 속을 것인가, 진실을 볼 것인가?
검색창에 드러난 가장 사적인 욕망

하버드대학교 경제학과 박사과정에 있는 동안 스티븐스 다비도위츠는 구글 트렌드를 이용해 오바마가 흑인이라는 이유로 손해 본 표가 얼마나 되는지 연구했다. 구글 트렌드는 특정 단어가 지역별, 시간별로 얼마나 자주 검색되는지를 알려주는 구글 서비스다. 2008년 11월 오바마가 당선된 그날, 일부 주는 ‘최초의 흑인 대통령’보다 ‘깜둥이 대통령’을 더 많이 검색했다. 그리고 ‘오바마’가 들어간 검색어 100개 중 1개에는 ‘kkk’나 ‘깜둥이’가 포함돼 있었다. 백인 국수주의자들의 사이트 〈스톰프런트〉의 검색과 가입도 평소보다 10배 늘었다. 설문조사에서 아닌 척 숨겼지만 사람들은 사적 공간에서 흑인을 조롱하는 마음을 마음껏 드러내고 있었다. 스티븐스 다비도위츠는 지역별 인종차별적 검색률을 토대로 미국의 인종주의 지도를 만들었는데 놀랍게도 트럼프 지지율을 표시한 지도와 일치했다. 지금 학계는 미국 대선과 브렉시트를 예견한 유일한 데이터인 구글 트렌드가 앞으로도 국제적으로 굵직굵직한 사건들을 예견할 것으로 주목하고 있다.
구글 검색이 그토록 귀중한 이유는 데이터가 많아서가 아니다. 사람들이 솔직한 생각을 내놓기 때문이다. 사람들은 다른 사람에게는 하지 않을 이야기를 구글, 네이버, 다음과 같은 거대 검색엔진에는 한다. 겉으로 드러나지 않을수록 밝혀지는 것도 많은데 그 대표적인 주제가 성생활이다. 구글에 드러난 결혼생활의 가장 큰 불만이 뭔지 알고 있는가? 섹스를 하지 않는 것이다. ‘섹스 없는 결혼생활’이 ‘불행한 결혼생활’보다 3.5배 많이 검색되고 ‘사랑 없는 결혼생활’보다 8배 많이 검색된다. 그리고 대화하지 않는 배우자에 대한 불만보다 성관계를 원하지 않는 배우자에 대한 불만이 16배 많다. 결혼하지 않은 커플도 마찬가지다. 문자메시지에 답을 하지 않는 애인보다 성관계를 원하지 않는 애인에 대한 불만이 5.5배 많다. 그리고 그 불만은 놀랍게도 남자친구보다 여자친구 쪽에서 두 배 많다. 구글에는 ‘게이 포르노’와 ‘게이 테스트’를 번갈아 검색하는 성정체성에 혼란을 보이는 사람들도 포착된다. 모두 전통적인 설문조사에서는 감춰져 있던 모습이다.

* 남성 중 동성애자는 얼마나 많은가?
* 어떤 사람이 탈세를 하는가?
* 두 번째 데이트를 하려면 첫 번째 데이트에서 어떤 이야기가 오가야 하는가?
* 부모는 아들과 딸을 어떻게 차별하는가?
* 사는 곳에 따라 수명이 달라지는가?
* 광고는 효과가 있는가?

사람의 생각을 연구하는 완전히 새로운 방법
모든 학문 분야에서 빅데이터 분석이 유행할 것

사람들은 자주 거짓말을 한다. 의사, 친구, 연인, 설문조사원은 물론 자기 자신에게도 거짓말을 한다. 기업 엔지니어의 40퍼센트 이상이 자신의 실력이 상위 5퍼센트에 든다고 말하고, 대학교수의 90퍼센트 이상은 자신이 평균 이상의 성과를 내고 있다고 말한다. 고등학교 졸업생의 4분의 1은 자신의 사교성이 상위 1퍼센트에 든다고 생각한다. 이렇게 사람들의 보고가 부정확한데도 사회과학 연구의 많은 부분이 여기에 의존한다.
데이터 과학이 앞으로 무궁무진하게 활용될 수 있는 분야가 바로 사회과학이다. 데이터 과학은 사회과학 이론을 검증 가능하게 한다. 한 예로 2장 〈프로이트가 옳았을까?〉는 무의식적 욕구(특히 성적인 욕구)가 말실수로 드러난다는 ‘프로이트의 말실수’가 진짜인지 확인한다. 프로이트 이론은 귀에 걸면 귀걸이, 코에 걸면 코걸이라는 비판을 받아왔다. 성적 욕구가 말실수로 세어 나온다는 ‘프로이트의 말실수’를 검증하기 위해 마이크로소프트 연구자들은 오타 데이터세트 4만 개를 모아 성적인 의미로 볼 수 있는 오타가 불균형적으로 많이 나타나는지 확인했다. 그 데이터세트에는 ‘rock’을 ‘cock(음경)’으로 ‘security’를 ‘sex(섹스)urity’라고 쓴 것도 있었지만 ‘window’를 ‘pindow’라고 쓴 것처럼 별 의미 없는 실수도 있었다. 연구팀은 사람들과 똑같은 빈도로 문자를 바꿔 쓰는 로봇을 만들어 수많은 오타를 내게 했고 그 결과 성적으로 해석되는 실수는 우연으로 볼 수 있는 수준보다 많지 않은 것을 확인했다.
사회과학의 많은 질문은 연구하기가 까다롭다. 폭력적인 영화가 개봉하면 범죄가 늘어날까? 광고는 효과가 있을까? 언론은 진보나 보수 쪽으로 편향되어 있을까? 거의 모든 주제에 빅데이터를 모을 수 있게 된 지금은 데이터 과학을 조금만 첨가하면 그 해답을 찾을 수 있다.

2018년 최고의 문제작
빅데이터 혁명은 지금부터!

스티븐스 다비도위츠의 연구가 처음부터 인정받았던 것은 아니다. 인종주의에 관한 그의 박사논문은 학술지 다섯 곳에서 거부당했다. 그렇게나 많은 미국인이 인종주의자일 리가 없다는 것이었다. 하지만 세계적인 학술지 《퍼블릭 이코노믹스 저널》이 최종적으로 이 논문을 실었고, 스티븐스 다비도위츠는 많은 학자들에게 충격을 주며 학계의 슈퍼루키로 떠올랐다.
《모두 거짓말을 한다》에 대한 반응은 뜨거웠다. 출간 즉시 《뉴욕타임스》 《월스트리트저널》 〈아마존〉 베스트셀러에 오르고 《이코노미스트》 《포춘》 등 여러 매체에서 ‘2017년 올해의 경제경영서’로 선정됐다. 미국 재무장관을 지낸 로렌스 서머스는 스티븐스 다비도위츠를 따로 불러 연구를 요청할 정도였고, 심리학자 스티븐 핑커는 이 책의 서문에서 오랫동안 사람을 연구한 자신 역시 이 책에 담긴 내용에 여러 차례 놀랐다고 밝혔다.
하지만 이 책에 소개된 인간 본성은 아직 빙산의 일각의 작은 스크레치에 불과하다. 구글, 페이스북, 데이트 사이트, 포르노 사이트 등에 축적된 디지털 금광을 분석하면 사람들이 정말로 어떤 생각을 하는지, 정말로 원하는 것이 무엇인지, 정말로 무슨 일을 하고 있는지 알 수 있다. 혁명은 지금부터다!

《모두 거짓말을 한다》는 사람의 생각을 연구하는 완전히 새로운 방법을 이야기한다. 세스 스티븐스 다비도위츠는 빅데이터가 사람의 심리를 엿보는 아주 새로운 방법임을 보여준다. 내 나라와 내가 속한 종에 대한 나의 선입견이 그의 발견으로 송두리째 뒤집어졌다.   -스티븐 핑커, 《우리 본성의 선한 천사》 저자

 

오랜만에 정말 재미있는 경제학 책을 읽었다. 저자는 30대 초반의 젊은 사람이지만 빅데이터에 관해서는 자신의 최고의 전문가라고 자처한다. 그의 패기만만함이 이 책의 또 다른 매력이다. 앞으로 모든 학문 분야에서 빅데이터 분석이 크게 유행할 것이라는 저자의 자신 있는 예측은 읽는 사람의 머리를 끄덕이게 만든다.                                                     -이준구, 서울대학교 경제학부 명예교수

 

《괴짜경제학》보다 대단하다. 《머니볼》보다 뛰어나다. 이 훌륭한 책은 빅데이터를 제대로만 다루면 어떻게 세상을 밝히고 움직일 수 있는지를 명쾌하게 보여준다. 읽어라. 그러면 세상에 새롭게 보일 것이다.
-로렌스 서머스, 하버드대학교 명예총장, 제71대 미국 재무장관

 

이 책은 우리가 문명화된 존재라는 허상을 단숨에 깨버린다. 대단히 흥미롭고, 충격적이며, 때로는 끔찍하기까지 한, 그러나 무엇보다 새로운 사실을 드러내는 책이다.
-팀 우, 컬럼비아대학교 로스쿨 교수, 《마스터 스위치》 저자

 

책의 실증적인 발견들이 매우 흥미로워서 단순한 나열식 구성임에도 계속해서 책장을 넘기게 된다.
-《이코노미스트》 최고의 경제경영서 선정

 

흥미로운 이야기와 반직관적인 사실들로 가득하다. 세스 스티븐스 다비도위츠는 디지털 데이터의 핵심들을 하나씩 짚으며 인간 이해의 새로운 시대로 최선을 다해 안내한다.   -《포춘》 최고의 경제경영서 선정

 

빅데이터가 삶에 대해서 어떤 이야기를 해주는지 믿기 어려울 정도로 영리하고 짓궂게 탐색한다. 세스 스티븐스 다비도위츠는 내가 만나본 가장 뛰어난 데이터 스토리텔러다. -스티븐 레빗, 《괴짜경제학》 공저자

사람들의 정보 검색 그 자체가 정보다. 그들이 언제 어디에서 사실, 인용, 농담, 장소, 사람, 물건, 도움을 검색하는지는 그들이 정말로 어떤 생각을 하고, 어떤 욕망을 가지며, 무엇을 두려워하고, 무엇을 하는지에 관해 막연한 추측보다 훨씬 많은 것을 이야기해준다. (...) 작고 네모난 빈칸에 단어나 문구를 입력하는 일상적인 행동은 작은 진실의 자취를 남기며 이 자취 수백만 개가 모이면 결국 심오한 현실이 드러난다.                                                 -서문: 빅데이터 혁명의 개요 pp.15~16-

 

구글을 이용한 경험을 떠올려보자. 추측컨대 당신은 고상한 사람들 앞에서는 인정하기 어려운 행동이나 생각을 검색창에 입력하곤 할 것이다. 사실, 미국인 대다수가 구글에 매우 사적인 사항을 이야기한다는 너무도 강력한 증거가 있다. 예를 들어 미국인들은 ‘날씨’보다 ‘포르노’를 더 많이 검색한다. 남성 25퍼센트와 여성 8퍼센트만이 포르노를 본다고 인정한 설문조사 데이터와는 거리가 한참 멀다.
-4. 디지털 자백약 p.133-

 

부모는 아이에게 뛰어난 재능이 있다는 생각에 종종 흥분한다. 놀라운 일은 아니다. 사실 ‘두 살 난 내 아이가 ……’로 시작하는 모든 구글 검색에 따라붙는 가장 흔한 말은 ‘재능이 있어요’다. 하지만 여아와 남아에 관한 이런 질문이 똑같지는 않다. 부모는 ‘내 딸이 재능 있나요?’보다 ‘내 아들이 재능 있나요?’라는 질문을 2.5배 많이 한다.                                           -4. 디지털 자백약 p.160-

 

데이터 분석의 미래는 밝다. 차세대 킨제이는 분명 데이터 과학자일 것이다. 차세대 푸코는 데이터 과학자일 것이다. 차세대 마르크스는 데이터 과학자일 것이다. 차세대 소크는 데이터 과학자일 것이다.
-결론: 얼마나 많은 사람이 책을 끝까지 읽을까? p.321-

서문 - 스티븐 핑커
서론: 빅데이터 혁명의 개요

1부 빅데이터와 스몰데이터
1. 직감은 불완전하다

2부 빅데이터의 힘
2. 프로이트가 옳았을까?
3. 데이터를 보는 새로운 눈
신체 데이터
단어 데이터
사진 데이터
4. 디지털 자백약
섹스에 관한 진실
증오와 편견에 관한 진실
인터넷에 관한 진실
아동학대와 낙태에 관한 진실
페이스북 친구에 관한 진실
고객에 관한 진실
진실을 어떻게 다뤄야 할 것인가?
5. 클로즈업
우리 지역, 시, 마을에서는 정말로 어떤 일이 벌어지고 있나?
우리는 시간을 어떻게 보내는가
도플갱어 찾기
데이터에는 이야기가 있다
6. 온 세상이 실험실
A/B 테스트의 기초
잔인하지만 큰 깨달음을 주는 자연 실험

3부 빅데이터: 취급 주의
7. 빅데이터로도 할 수 없는 일
차원의 저주
측정 가능한 것에 대한 지나친 집중
8. 빅데이터로 하지 말아야 할 것
권력화된 기업에서 생기는 위험
권한을 부여받은 정부에서 비롯하는 위험

결론: 얼마나 많은 사람이 책을 끝까지 읽을까?