출판사 서평
데이터가 폭발하는 거대한 변화의 소용돌이 속에서
우리는 어떻게 살아갈 것인가?
제3의 물결을 잇는 가치와 혁신의 원천,
경제ㆍ사회ㆍ과학ㆍ기술 분야를 지배하는 새로운 패러다임, 빅 데이터!
일?하고 생각하는 방식이 바뀌고 있다. 빅 데이터를 통해 우리는 이전에 알 수 없었던 것들을 찾아내고, 거시적인 통찰력을 갖추고, 패턴이나 상관성을 읽어내어 데이터 스스로 진실을 드러내게 할 수 있다. 모든 것의 데이터화는 그동안 정보로 취급하지 않았던 것들까지 새로운 방식으로 활용할 수 있게 해준다. 이제 빅 데이터는 우리의 경제 상황과 사...
데이터가 폭발하는 거대한 변화의 소용돌이 속에서
우리는 어떻게 살아갈 것인가?
제3의 물결을 잇는 가치와 혁신의 원천,
경제ㆍ사회ㆍ과학ㆍ기술 분야를 지배하는 새로운 패러다임, 빅 데이터!
일하고 생각하는 방식이 바뀌고 있다. 빅 데이터를 통해 우리는 이전에 알 수 없었던 것들을 찾아내고, 거시적인 통찰력을 갖추고, 패턴이나 상관성을 읽어내어 데이터 스스로 진실을 드러내게 할 수 있다. 모든 것의 데이터화는 그동안 정보로 취급하지 않았던 것들까지 새로운 방식으로 활용할 수 있게 해준다. 이제 빅 데이터는 우리의 경제 상황과 사회, 그리고 삶을 급속도로 변화시키고 있다. 불확실하지만 스마트한 정보가 넘치는 시대에 우리는 무엇을 어떻게 준비할 것인가.
빅 데이터 혁명에 관한 긍정적이고 실용적인 시각
엄청나게 많은 복잡하고 헝클어진 정보들을 이용해 쇼핑 패턴부터 독감 발병에 이르기까지
수많은 예측을 가능하게 하는 놀라운 방법들!
중고차 중에서 어떤 색깔의 차량이 가장 상태가 좋을까? 뉴욕의 공무원들은 폭발 위험이 가장 높은 맨홀 뚜껑을 어떻게 알아낼까? 구글은 대체 어떻게 신종 플루의 발병을 예측했을까?
이런 질문에, 그리고 훨씬 더 많은 질문에 답하기 위한 핵심 열쇠가 바로 ‘빅 데이터’다. 빅 데이터란 방대한 양의 정보를 고속 처리하여 즉시 분석하고, 그로부터 놀라운 결론을 도출해내는 능력이다. 이 능력이 알려진 것은 얼마 되지 않았다. 이 새로운 방법을 사용하면 항공권 가격부터 수백만 권의 책까지 무수한 현상을 검색 가능한 형태로 바꿀 수 있다. 빅 데이터는 급성장한 컴퓨터 연산능력을 이용해 지금까지 한 번도 알지 못한 것들을 알게 해준다. 인터넷의 발명, 심지어 인쇄기의 발명에 견줄 만한 혁명이 시작된 것이다. 앞으로 몇 년 동안 빅 데이터는 비즈니스, 정치, 교육, 건강, 혁신을 생각하는 방식을 바꿔놓을 것이다. 빅 데이터는 새로운 위협이 될 수도 있다. 지금과 같은 사생활은 사라지고 빅 데이터가 제시하는 미래 행동 예측에 기초하여 아직 저지르지도 않은 일에 대해 처벌받게 될지도 모른다.
빅 데이터에 정통한 두 전문가는 이 책에서 빅 데이터가 무엇이며, 그것이 우리의 삶을 어떻게 바꿔놓을지에 관해 분명하고 놀라운 설명을 한다. 빅 데이터가 가져올 위험으로부터 우리를 지킬 수 있는 방법은 무엇일까? 이 책은 차세대 빅 트렌드를 명쾌하고 재미있게 읽어내는 첫 대작이다.
빅 데이터가 갖는 과학적ㆍ사회적 가치뿐만 아니라 빅 데이터가 어느 정도의 경제적 가치의 원천이 될 수 있을까? 빅 데이터 세상은 다양한 방식으로 비즈니스와 과학 분야뿐만 아니라 헬스케어, 정부, 교육, 경제, 인문, 사회에 이르기까지 모든 분야를 뒤흔들 것이라는 예측은 이제 우리의 현실이 되었다. 물론 아직은 빅 데이터의 여명기이지만. 그렇다면 우리는 적극적으로 변화의 시대를 맞이할 준비를 서둘러야 한다.
빅 데이터의 핵심은 예측에 있다. 빅 데이터를 인공지능이라는 컴퓨터 과학이나 기계 학습의 일부로 설명하는 사람들도 있다. 하지만 그것은 잘못된 판단이다. 빅 데이터는 엄청난 양의 데이터에 수학을 적용해 확률을 추론하려는 노력이다. 어떤 이메일이 스팸 메일일지, 무단횡단 중인 사람의 궤도와 속도로 보아 그 사람이 제때 길을 건널지, 무인 자동차가 언제 속도를 살짝 늦춰야 할지 등과 같은 것들이다. 이런 시스템이 잘 작동하는 것은 예측에 필요한 데이터를 많이 공급받기 때문이다. 시스템이 스스로 개선될 수 있도록, 더 많은 데이터가 들어오면 어느 것이 최상의 신호이고 패턴인지 기록해나가게끔 설계되어 있기 때문이다.
미래에, 어쩌면 생각보다 빠른 미래에 지금은 순전히 인간의 판단 영역에 속하는 것들이 컴퓨터 시스템에 의해 보강되거나 대체될 것이다. 운전이나 데이트 상대 고르기뿐만 아니라 훨씬 더 복잡한 일들까지도.
지금도 아마존은 우리에게 맞는 책을 추천해주고, 구글은 가장 적절한 웹사이트부터 순서대로 보여준다. 페이스북은 나의 선호를 알고 있고, 링크드인은 내가 누구와 연줄이 닿는지 꿰뚫고 있다. 똑같은 기술이 질병 진단과 치료법 추천에도 적용될 것이다. 어쩌면 실제 범죄가 일어나기도 전에 ‘범죄자’를 찾아내게 될지도 모른다. 인터넷이 컴퓨터에 통신 기능을 부가하여 세상을 완전히 바꿔놓았듯, 빅 데이터도 컴퓨터에 지금까지와는 차원이 다른 양적 측면을 부가해 우리 생활의 기본 양상을 바꿔놓을 것이다.
원인을 알 필요는 없다, 데이터 스스로 진실을 드러내게 하라!
원인 대신 패턴이나 상관성을 찾아내어 새로운 이해와 통찰의 세계로 데려다놓는 빅 데이터 시대
빅 데이터는 세상을 수량화하여 이해하고 싶은 인류의 탐험에 큰 진전이 이루게 해줄 것이다. 이전에는 측정ㆍ저장ㆍ공유ㆍ분석할 수 없었던 것들이 끊임없이 데이터화되고 있다. 조그만 일부분이 아니라 방대한 양의 데이터, 덜 정밀하지만 더 많은 데이터를 이용한다면 새로운 이해의 길이 열린다. 사회는 오랫동안 선호되어온 인과관계를 버리고 상관관계의 편익에 의존할 것이다. 인과관계의 메커니즘을 이해하고 싶은 인류의 이상은 자기만족적 환상이며 빅 데이터는 이 환상을 뒤집어엎을 것이다.
우리가 굳게 믿고 있던 확실성이 또 한 번 바뀌고 있다. 이번에는 더 확실한 증거에 의해 기존의 확실성이 대체되고 있다. 그렇다면 이제 직관과 신념, 불확실성에게는 무슨 역할이 남을까? 증거에 반해 행동하고 경험에서 배우는 일은 이제 다시 일어나지 않을까? 지금의 사회와 인간관, 진보는 이성을 기초로 한 것이다. 인과성에서 상관성으로 세상이 바뀌는데 이런 것들의 기반이 송두리째 흔들리지 않고서야 다음으로 넘어갈 수 없을 것이다. 지금 우리는 어디쯤 서 있는지, 어떻게 여기까지 왔는지를 설명하고 우리 앞에 놓인 혜택과 위험에 대한 시급한 가이드를 제공하는 것이 이 책의 목적이다.
앞으로 빅 데이터는 새로운 경제적 가치와 혁신의 원천이 된다. 빅 데이터의 부상은 곧 정보 분석 방법의 변화를 불러오고 우리가 사회를 이해하고 조직하는 방법을 바꿔놓을 것이다. 새로운 세상은 더 많은 데이터를 분석할 수 있다. 이전의 샘플링 방식으로 도저히 알아낼 수 없는 하위 범주와 하위 시장들을 찾게 되는 것이다. 두 번째 변화는 방대한 데이터를 들여다보게 됨으로써 정밀성에 대한 욕구가 줄어들 것이다. 빅 데이터는 들쭉날쭉하고, 속성이 서로 다르며, 전 세계 수많은 서버에 산재해 있는 경우가 많다. 그래서 빅 데이터를 사용할 때는 센티미터 단위, 원 단위, 분자 단위까지 현상을 이해하기보다 일반적 방향성으로 만족해야 할 때도 많을 것이다. 이것은 정밀성을 전부 내다버린다는 것이 아니라 정밀성만 고집하지 않는다는 뜻이다. 미시적 차원의 정확성을 잃는 대신 거시적 차원의 통찰력을 얻는 것이다. 이러한 변화에서 ‘인과관계 추구’라는 오래된 습관에서 멀어지는 결과를 낳는다. 빅 데이터 세상에서는 인과관계에 얽매일 필요가 없다. 패턴이나 상관성을 찾아내어 새로운 이해와 귀중한 통찰을 얻으면 된다. 상관성은 어떤 일이 정확히 왜 벌어지고 있는지를 설명하지 못할지도 모르지만 그 일이 지금 일어나는 중이라고 경고해줄 수는 있다. 어떤 현상의 원인을 항상 알아야 할 필요는 없다. 데이터 스스로 진실을 드러내게 하면 된다.
왜 그런 결정을 내리게 되었는지 이유를 설명할 수 없다고?
누가 범죄를 저지르고, 심장마비에 걸릴 것인지를 알아내는 알고리즘이 등장하고
비즈니스와 시장, 사회의 본질이 변화하면서 새로운 제도와 규칙 마련해야
인간은 수천 년 동안 데이터를 분석해왔다. 고대 메소포타미아에서 글이 발
<이 책에 쏟아진 찬사들>

￭당분간 확실한 사실 한 가지는, 당분간 빅 데이터에 관한 논의는 이 책을 중심으로 진행될 것이라는 점이다. _포브스닷컴

￭이 책의 저자들은 ‘빅 데이터’가 실리콘밸리에서만 통용되는 유행어 수준을 뛰어넘는다고 확신한다. 현재 진행 중인 데이터 열병의 이점과 해악에 관해 이토록 균형 있는 관점으로 누구나 알기 쉽게 말해주는 책은 없다. _≪월스트리트 저널≫

￭중요한 통찰과 정보를 제공하는 책이다. _≪북리스트≫

￭정보사회의 기술적 경이를 찬양하는 책은 많다. 하지만 이 책은 정보 그 자체에 관한 독창적 분석을 담고 있다. 수조 개의 검색어와 전화 통화, 클릭, 질문, 구매 목록 등과 같은 것들 말이다. 컴퓨터가 제공하는 어마어마한 상관성이라는 가능성과 그것을 이용하는 사업가들에 관해 흥미진진하고 열정적인 이야기가 펼쳐진다. _≪커커스 리뷰≫

￭빅 데이터는 기업 경영자들이나 기술에 정통한 정치인들이 자주 들먹이는 용어지만 시민의 자유를 옹호하는 이들에게는 걱정을 안기는 단어다. 이게 모두 무슨 얘기인지 알고 싶다면 이 책을 읽어보라. 빅 데이터라는 광범위한 주제에 관해 포괄적이면서도 흥미로운 소개를 받게 될 것이다. 빅토르 마이어 쇤버거와 케네스 쿠키어는 빅 데이터의 축복과 우리의 자유를 동시에 누릴 수 있는 현명한 방안들을 제시한다. 생생한 사례들로 넘치는 이 책을 통해 빅 데이터 폭발은 이제 막 시작되었다는 사실을 분명히 알게 될 것이다. _≪보스턴 글로브≫

￭모든 것에 대한 시각을 바꿔놓는 책은 10년에 한두 권 나온다. 이 책이 바로 그런 책이다. 이제 사회는 빅 데이터가 가져올 변화에 대해 생각해보기 시작했다. 이 책은 그 중요한 시작을 알린다. _로렌스 레식(하버드대 로스쿨 교수)

￭이 책은 오늘날의 정보 폭발이 세상에 대한 우리의 기본적 이해 방식을 근본적으로 어떻게 바꿔놓을지를 잘 보여준다. 앞으로 회사들은 어떻게 가치를 창출하고, 정책 입안자들은 무엇을 경계하고, 모든 이가 어떻게 인지모델을 바꿔야 할지 과감하고 분명한 주장을 유려한 문체로 표현하고 있다. _조이 이토(MIT 미디어랩 연구소장)

￭비즈니스 세계의 미래를 결정지을 핵심 트렌드에 관해 남보다 먼저 알고 싶다면 반드시 읽어야 할 책이다. _마크 베니오프(세일즈포스닷컴 회장)

￭빅 데이터 혁명에 관한 긍정적이고 실용적인 시각을 제시한다. 우리가 알아야 할 커다란 변화는 이미 시작되었고, 더 큰 변화가 우리를 기다리고 있다. _코리 닥터로우(보잉보잉닷컴 공동 편집자)

￭물은 축축하지만 개별 물 분자가 축축한 것은 아니듯, 빅 데이터를 사용하면 개별 데이터로는 알 수 없는 정보를 알 수 있다. 엄청나게 많은 복잡하고 헝클어진 정보들을 이용해 쇼핑 패턴부터 독감 발병에 이르기까지 수많은 예측을 가능하게 하는 놀라운 방법들이 펼쳐진다. _클레이 서키(뉴욕 대학교 교수, 칼럼니스트)

￭빅 데이터를 둘러싼 미스터리와 과대 선전을 단칼에 정리하는 책이다. 업계에 속한 사람이라면 누구나 반드시 읽어야 할 책이며 IT, 공공정책, 정보기관, 의료계에 속한 사람들에게도 필독서다. 단순히 미래가 궁금한 사람이 읽어도 좋다. _존 실리 브라운(전 제록스 수석연구원, 제록스 팔로알토 연구센터장)

￭정보를 활용하는 새로운 방식에 관한 통찰력이 넘치는 책이다. 이 책에 제시된 미래는 설득력이 있다. 빅 데이터를 사용하거나 빅 데이터의 영향을 받는 사람이라면 반드시 읽어야 할 책이다. _제프 조너스(IBM 엔티티 애널리틱스 수석연구원)

무작위 샘플링은 엄청난 성공을 거두었고 현대적인 대규모 조사의 근간이 됐다. 하지만 이것은 어디까지나 전체 데이터를 수집하고 분석하는 것에 대한 차선의 대안일 뿐이다. 무작위 샘플링은 수많은 약점을 동반한다. 무작위 샘플링 조사의 정확성은 샘플 데이터를 수집할 때 무작위성을 얼마나 확보할 수 있는지에 달려 있다. 그런데 이 무작위성을 얻는 것은 쉬운 일이 아니다. 데이터를 수집하는 방식에 체계적 편향이 있을 경우 산정된 결과치는 완전히 다른 수치가 나올 수도 있다. _｢Chapter 2 많아진 데이터｣에서

우리는 일상생활에서 워낙 자주 인과적으로 생각하다 보니 인과성을 밝히는 일이 쉽다고 믿을지 모른다. 하지만 진실은 그렇게 안이하지 않다. 상관성을 계산하는 수학은 상대적으로 간단하다. 하지만 인과성을 ‘증명’하는 뚜렷한 수학적 방법이란 없다. 심지어 인과적 관계는 기본적 등식으로 표현조차 안 된다. 그러니 힘들게 천천히 생각하더라도 확정적인 인과적 관계를 찾는 일은 쉽지 않다. 우리는 정보가 부족한 세상에 익숙해져 있기 때문에 제한된 데이터로도 추론을 해보려는 유혹을 느낀다. 하지만 어느 결과를 특정 원인 탓으로 돌리기에는 지나치게 많은 요소가 개입되어 있는 경우가 너무 많다. _｢Chapter 4 인과성과 상관성｣에서

궁극적으로 데이터의 가치는 그것을 이용하는 사람에 달려 있다. 어떤 방식이 되었건 가능한 쓰임새를 찾아내 가치를 끌어내면 그것이 곧 그 데이터의 가치다. 무한한 듯 보이는 이 잠재적 용도는 마치 옵션과 같다. 금융 상품을 말하는 것이 아니라 선택 가능성을 뜻하는 일상적 의미의 옵션 말이다. 데이터의 가치는 이런 선택 가능성들의 총계이고, 이것이 말하자면 데이터의 ‘옵션 가치’다. 과거에는 데이터의 주된 용도가 달성되고 나면 그 데이터는 임무를 다한 것으로, 그래서 지우면 되는 것으로 생각한 경우가 많았다. 핵심적 가치를 뽑아낸 걸로 보였으니까 말이다. 하지만 빅 데이터 시대에 데이터는 마치 마법의 다이아몬드 광산과 같다. 주된 가치는 이미 다 꺼내 쓴 지 오래지만 아직도 파면 팔수록 계속 뭔가 나오는 다이아몬드 광산 말이다. 데이터의 옵션 가치를 깨우는 강력한 방법이 세 가지 있다. 바로 기본적 재사용, 데이터 집합 합치기, ‘반값 할인’ 찾기다. _｢Chapter 6 가치｣에서

많은 상황에서 데이터 분석은 이미 예방이라는 이름으로 채용되어 있다. 데이터 분석은 우리를 비슷한 사람들과 동일 집단으로 묶는 데 사용되고, 우리는 자주 우리가 속한 그 집단에 따라 특징지어진다. 보험 계리인의 도표에는 50세 이상의 남성은 전립선암에 걸리기 쉬우므로 이 집단에 속한 사람들은 건강보험료를 더 내야 할지 모른다고 표시되어 있다. 아직 전립선암에 걸린 적은 없지만 말이다. 성적이 우수한 고등학생들은 집단으로 봤을 때 자동차 사고를 일으킬 가능성이 낮다. 그래서 성적이 낮은 일부 또래들은 보험료를 더 내야 한다. 특정한 특징을 지닌 개인들은 공항검색대를 지날 때 추가 검사를 받는다. _｢Chapter 8 리스크｣에서

목차
Chapter 1 현재
데이터로 하여금 말하게 하라｜들쭉날쭉하지만 더 많아서 괜찮은 데이터
Chapter 2 많아진 데이터
일부에서 전체로
Chapter 3 들쭉날쭉한 데이터
질보다 양｜들쭉날쭉한 데이터의 실제 모습
Chapter 4 인과성과 상관성
예측과 선호｜환영과 깨달음｜폭발하는 맨홀｜이론의 종말?
Chapter 5 데이터화
세상의 수량화｜단어들이 데이터가 될 때｜위치가 데이터가 될 때｜소통이 데이터가 될 때｜모든 것의 데이터화
Chapter 6 가치
데이터의 ‘옵션 가치’｜데이터의 재사용｜재조합형 데이터｜확장 가능한 데이터｜가치가 하락하는 데이터｜데이터 잔해의 가치｜오픈 데이터의 가치｜값을 매길 수 없는 가치
Chapter 7 영향
빅 데이터의 가치 사슬｜새로운 데이터 중개인｜전문가의 종말｜효용의 문제
Chapter 8 리스크
사생활 마비｜확률과 처벌｜데이터의 독재｜빅 데이터의 어두운 면
Chapter 9 통제
동의에서 책임으로｜사람 vs 예측｜블랙박스 깨기｜알고리즈미스트의 부상｜외부 알고리즈미스트｜내부 알고리즈미스트｜데이터 왕에 대한 규제
Chapter 10 다음
데이터가 말을 할 때｜빅 데이터보다 더 큰 데이터
감사의 말
옮긴이의 말
주석

<저자와의 인터뷰>

1. 이 책을 쓰기 위해 어떤 과정이 필요했는가?
쿠키어는 그동안 ≪이코노미스트≫의 유럽과 아시아, 미국 지부에서 일하며 기술과 비즈니스에 관한 기사들을 써왔기 때문에 데이터 관련 커뮤니티에 끈이 잘 닿아 있다. 쇤버거는 이전에 하버드 대학, 지금은 옥스퍼드 대학에서 정보 경제를 연구하고 있으며 지난번에 출간한 책 󰡔잊어질 권리󰡕가 호응을 얻었다. 그래서 우리는 이만하면 이 분야에 길이 남을 만한 책을 한 권 쓸 수 있겠다고 판단했다. 집필 과정에서는 빅 데이터 선구자들에 관해 알려지지 않은 이야기를 찾고 싶었다. 그래서 많은 인터뷰를 했고 끈기 있게 파고들었다. 우리는 커다란 발상의 전환을 다루면서도 좋은 사례와 많은 성공담을 통해 흥미진진한 책이 되도록 애썼다.
2. 두 사람은 빅 데이터의 치어리더 역할을 자처하는가?
전혀 그렇지 않다. 우리는 빅 데이터의 전령일 뿐 전도사는 아니다. 빅 데이터 시대는 이미 도래했으며 우리는 그 동인이 무엇이고 예상 궤적은 어떠할지 살펴볼 뿐이다. 우리가 일하는 방식과 생활하는 방식에 어떤 변화가 생길지 한번 생각해보는 것이다. 다시 한 번 강조하지만 근본적인 변화는 데이터를 계산하는 기계가 아니라 데이터 그 자체, 그리고 그것을 활용하는 방식에 있다.
3. 빅 데이터의 새로운 활용 방식들 중 가장 놀라게 한 것은 무엇인가?
폭발하는 맨홀을 예측하거나, 실시간으로 인플레이션을 추적하는 일, 조산아들의 생명을 구하는 것이라고 답할 수도 있다. 하지만 우리가 가장 놀랐던 부분은 빅 데이터를 활용하는 방식이 이토록 다양하다는 사실 그 자체다. 빅 데이터는 이미 우리의 일상을 바꾸고 있었다. ‘빅 데이터’라고 하면 많은 사람들이 인터넷 경제를 떠올린다. 아마 구글과 페이스북이 워낙 많은 데이터를 보유하고 있기 때문일 것이다. 하지만 그렇게 생각하면 핵심을 놓치게 된다. 바로 빅 데이터는 모든 곳에 존재한다는 사실 말이다.
4. 그러면 이 책은 주로 경제적 효율에 관한 내용인가?
빅 데이터가 경제적 효율성을 증진하는 것은 사실이지만, 그것은 전체 이야기 중 작은 부분에 불과하다. 수십 명의 빅 데이터 선구자들과 인터뷰를 거듭할수록 깨닫게 되는 것은 빅 데이터가 헬스케어, 교육뿐만 아니라 도시 개발에서 독감 확산에 이르는 사회적 변화 예측까지 도움을 주고 있다는 사실이다. 빅 데이터는 모든 경제 분야와 모든 생활 영역을 휩쓸고 있다.
5. 그러면 빅 데이터에는 ‘긍정적인 측면’만 있는가?
전혀 그렇지 않다. 이 책에도 ‘빅 데이터의 어두운 면’이 언급되듯, 매우 걱정스러운 부분들이 있다. 정말 난감한 부분은 문제의 핵심이 당초 우리가 생각했던 것처럼 감시나 사생활 문제가 아닐 수도 있다는 점이다. 빅 데이터가 오용될 수 있는 경우에 관해 면밀히 살펴본 결과 ‘성향’이 훨씬 더 큰 문제점이라는 사실을 알 수 있었다. 즉 빅 데이터의 예측을 토대로 경찰력을 동원하거나 처벌하는 일이 벌어질 수 있다. 기관들이 데이터의 한계를 제대로 인식하지 않고 맹목적으로 데이터에 의존하는 ‘데이터 숭배’ 현상이 일어날지도 모른다.
6. 이런 ‘어두운 면’에 대한 해결책은 무엇인가?
우선 어두운 면이 무엇인지 제대로 알아야 한다. 우리는 빅 데이터의 위험을 최소화하거나 완화할 수 있는 구체적인 방법에 관해 많이 고민했다. 그 결과 투명성을 확보하고 인간의 자유의지를 보장하며 사생활과 개인 정보의 이용 사이에 균형을 이룰 수 있는 방법을 몇 가지 생각해냈다. 이것은 매우 심각한 문제이며, 우리가 즉시 행동에 나서지 않는다면 머지않아 이미 늦어버릴 것이다.