출판사 서평
왜 블랙박스 사회인가?
그들은 알고 우리는 모르는 감춰진 전략들
실리콘밸리의 스타트업 기업들은 이제 새로운 구글이나 아마존이 되는 게 목표가 아니다.
그들의 목표는 구글에 얼마에 팔릴 것인가?이다. 새로운 기술을 가진 신생업체가 구글을 대체할 가능성보다는 구글에 먹힐 가능성이 훨씬, 아주 훨씬 더 높았다. 창고에서 PC 한 대를 앞에 둔 천재의 성공 이야기는 더 이상 현실이 되지 못한다.
왜 그럴까?
저자는 “불가사의한 방식으로 작동하는 시스템”, 즉 블랙박스 시스템 때문이라고 말한다. 이는 “인풋과 아웃풋은 확인할 ...
왜 블랙박스 사회인가?
그들은 알고 우리는 모르는 감춰진 전략들
실리콘밸리의 스타트업 기업들은 이제 새로운 구글이나 아마존이 되는 게 목표가 아니다.
그들의 목표는 구글에 얼마에 팔릴 것인가이다. 새로운 기술을 가진 신생업체가 구글을 대체할 가능성보다는 구글에 먹힐 가능성이 훨씬, 아주 훨씬 더 높았다. 창고에서 PC 한 대를 앞에 둔 천재의 성공 이야기는 더 이상 현실이 되지 못한다.
왜 그럴까?
저자는 “불가사의한 방식으로 작동하는 시스템”, 즉 블랙박스 시스템 때문이라고 말한다. 이는 “인풋과 아웃풋은 확인할 수 있어도 인풋이 어떻게 아웃풋으로 바뀌는지는 알 수 없는 시스템”이라고 한다. 또한 “우리는 매일같이 이러한 블랙박스에 직면하고 있으며, 기업과 정부로부터 갈수록 더 면밀히 추적당하면서도, 그와 같은 정보가 얼마나 광범위하게 유통되고 활용되는지, 그리고 그 결과가 어떠한지는 명확히 알지 못한다”고 한다.
그리고 이러한 블랙박스 시스템이 우리 삶에서 가장 중대한 영향을 미치는 분야로 평판, 검색, 금융을 언급하면서, 블랙박스에 갇힌 이들 알고리즘을 알지 못하면 지금의 세계를 정확히 알 수 없을 뿐만 아니라 투명한 사회, 알기 쉬운 사회로 나아갈 수 없다고 한다.
만약 어떤 서비스가 잠재적인 인수 대상이라면, 구글은 그 사이트의 트래픽을 억제해야 할 또 다른 이해관계가 생기는 셈이다. 독자적으로 사업을 일으키려는 희망을 애초에 꺾어버리기 위해서다. 아기 모세를 죽이려 했던 파라오처럼, 구글도 경쟁사에 싸워볼 기회조차 용납하지 않는다. 구글은 자신들의 잠재적 고객 집단에 대한 인수 타깃 기업의 접근을 원천적으로 봉쇄하여, 그 기업이 인수 제안을 뿌리칠 수 없게 만들었다.
구글이 공개되지 않기를 바라는 콘텐츠를 숨기는 것쯤은 이제 너무도 쉬운 일이 되었다. 나아가 구글이 ‘일반 목적 검색’에서의 지배력을 바탕으로 다른 분야에까지 과도한 권한을 행사하는 게 아니냐는 의구심까지 제기되고 있다.
하지만 우리가 알지 못하는 블랙박스 사회의 내부는 훨씬 더 광범위하다. 그리고 그 민낯은 추악하고 탐욕적이다. 비밀스런 알고리즘을 통해 돈과 정보를 통제하고, 검색 결과의 순위를 정하고(때론 악의적으로 왜곡하고), 빅데이터라는 이름으로 우리의 마음을 조작한다. 또한 불법행위를 위한 난독화와 복잡성으로 인한 불투명성에 숨은 금융업계 내부자들은 투자자와 납세자가 인지하지 못하는 방식으로 그들에게 위험을 전가하는 계약을 체결하면서 자신들 몫으로 막대한 수수료와 보너스를 챙겼다.
뿐만 아니라 대출자들은 신용 등급이 떨어지면 수십만 달러의 이자를 더 물어야하지만, 정작 자신의 신용 등급이 어떻게 산정되는지는 제대로 알지 못한다. 그것이 어떻게 유통되고 이용되는지도 알지 못한다.
이처럼 우리가 알지 못하는, 블랙박스 사회의 비밀 알고리즘에 의해 작동하는 사례는 많다.
- 할인 광고를 클릭하면 우리의 위치, 컴퓨터 사용 기종, 심지어 법정 기록 등을 기반으로 우리에게 얼마를 더 판매할 수 있을지를 계산하는 프로그램이 숨어있다는 걸 알지 못한다.
- 데이터 중개상이 결혼, 이혼, 주택 구입, 투표 및 기타 수천 가지의 사적ㆍ공적 기록을 이용해 마음대로 우리의 평판을 결정하고 유통하는지도 알지 못한다.
- 커밍아웃을 하지 않은 동성애자가 동성 결혼 관련 기사에 긍정적인 댓글을 남기면, 자신이 무지개색 속옷으로 장식된 ‘커밍아웃 코치’ 광고의 타깃이 된다는 걸 알지 못한다.
- 어떤 부인은 보험사들이 보험 가입을 거부하는 이유가 과거 처방 내역, 즉 불면증 때문에 가끔 항우울제를 복용하고 발목의 부기 때문에 혈압약을 복용했기 때문이라는 걸 알지 못한다.
- 대형 할인점의 여성 고객은 할인점이 자신의 임신 기간을 추적ㆍ관리하고 있다는 걸 알지 못한다.
- 부부 문제 상담을 받은 부부는 그런 상담을 받은 부부가 통계적으로 이혼할 가능성이 높다는 이유로, 신용카드 회사들이 부부간의 불화가 곧 경제적 고통으로 번질지 모른다는 신호로 인식한다는 걸 알지 못한다.
- 카지노의 딜러와 웨이터 들은 회사로부터 미소 짓는 횟수까지 추적당하고 있다는 걸 알지 못한다.
- 흑인들은 구글에서 전형적인 흑인 이름을 검색하면 신원 조사 사이트와 같은 부정적인 광고가 뜨는 반면, 전형적인 백인 이름을 검색하면 중립적인 광고가 나온다는 것을 알지 못한다.
알고리즘에 새겨진 디지털 주홍글씨
평점은 그 자체로 법이 되었다.
검색은 21세기의 빅브라더가 되었다.
금융은 가장 복잡하고 가장 탐욕적인 정보 제국주의의 월스트리트가 되었다.
점수는 우리에게 특정한 기준을 내면화하고, 실패를 처벌하도록 권장했다. 평판ㆍ검색ㆍ금융 기업들은 우리를 무지한 상태로 유지함으로써 이익을 얻는다. 그래서 그들은 거대한 비밀주의 문화를 조성해 다른 모든 산업을 감염시켰다.
디지털 연금술이 새로운 유사 현실을 창조하면서, 통제 불가능한 데이터는 이곳저곳으로 퍼져나가 연속적인 불이익을 초래했다. 어느 소프트웨어가 어떤 사람을 신용위험도가 높거나, 태만한 직장인이거나, 돈이 안 되는 소비자라고 일단 판단하게 되면, 그것이 경제 전반에 걸친 다른 시스템의 의사 결정에서도 영향력을 발휘했다. 일종의 주홍글씨가 새겨지는 셈이다. 그러나 개인이 그것을 되돌리기는 현실적으로 거의 불가능했다.
특정 검색 결과를 포함하거나 배제하거나 순위를 매기는 권한은 곧 대중에게 어떤 인상은 남겨두고 어떤 인상은 증발시킬지를 정하는 권한이다. 검색 서비스가 사용자뿐 아니라 광고주에게도 ‘필수적인’ 이유가 바로 여기에 있다. 검색은 한때 TV 방송, 라디오 방송 및 신문이 지배적 영향력을 발휘했던 문화ㆍ경제ㆍ정치 영역을 아주 깊숙이 잠식했다. 그렇지만 완벽한 우월적 지배와 복잡한 관련 기술로 인해 전통적인 매체들이 대중에게 보장해야 했던 투명성과 책임성의 압박을 피해갔다.
왜 구글의 비디오 검색 결과에서는 (구글이 소유한) 유튜브가 항상 다른 비디오 사이트보다 상위에 랭크될까? 왜 인터넷 소매점은 동일 제품인데도 구매자에 따라 다른 가격을 매기는 것일까? 왜 어떤 대출자들은 상환이 늦어져도 용인되고, 어떤 대출자들은 그렇지 않을까? 왜 애플은 특정 앱들의 등록을 거부하는가? 왜 어떤 기업은 지원자의 소셜 네트워크를 검색하는가? 왜 금융 상품들은 그토록 복잡하게 설계되는가?
우리는 그 뒷단의 알고리즘을 알지 못한다.
대한민국도 ≪블랙박스 사회≫에 갇혔다.
비밀이 많은 정부와 〈테러방지법〉이 만나면……
누구나 테러범이 될 수 있다.
정보가 돈과 권력을 가진 기업과 정부에 의해 통제되고 왜곡된다면 누구도 잠재적 테러리스트가 되는 것으로부터 자유로울 수 없다. 스노든의 폭로가 미국만의 일이 아니라는 것은 자명한 일이다.
국가가 평판 게임에 참여하게 되면 위험성은 훨씬 더 급격히 증가한다. 단순히 민간 기업이 의사 결정을 위해 체포 이력 같은 정부 기록을 이용한다는 말이 아니다. 경찰과 정보기관은 공공 데이터베이스와 민간 기록을 이용하여 자신들의 사회적 역할을 근본적으로 바꾸었다.
지난 6월 4일 〈테러방지법〉이 시행되었다. 이 법을 발의한 새누리당 의원은 “정보기관은 누구한테 달려 있느냐, 사용자한테 달려 있습니다. 사용자가 무엇을 요구하느냐에 따라서 달라지는 게 정보기관인데, 지금 사용자는 대통령입니다”라는 말을 서슴없이 하고 있었다.
이제 누구라도 〈의심할 만한 상당한 이유가 있는 자〉가 되어 신상이 모두 털릴 수밖에 없는 세상이 된 것이다. 당연한 말이지만, 당사자는 알지도 못한다.
미국에서는 한 여성이

“모든 비밀은 깊고 어두워진다. 그것이 비밀의 본성이다.”
_ 코리 닥터로우, 《리틀 브라더》 저자

"우리는 당신의 고객에 대한 전방위 시선을 제공합니다."
_ 빅데이터 기업 액시엄Acxiom의 광고 문구

“정보기관은 누구한테 달려 있느냐, 사용자한테 달려 있습니다.
사용자가 무엇을 요구하느냐에 따라서 달라지는 게 정보기관인데,
지금 사용자는 대통령입니다.”
_ <테러방지법>을 발의한 새누리당 의원

“페이스북은 우리의 존재를 규정하고, 아마존은 우리가 원하는 바를 규정하며,
구글은 우리가 생각하는 바를 규정한다.”
_ 조지 다이슨, 《튜링의 대성당》 저자

추천글

“시종일관 유쾌하고 열정으로 가득하다. 파스콸레의 대담하고 야심찬 이 책은 금융의 비밀주의부터 신용 평점까지, 검색엔진부터 자동화된 의사 결정까지, 제도상의 투명성부터 정부와 대기업의 유착까지 다양한 이슈들을 아우르며 ‘블랙박스 사회’를 폭로한다. 그의 절박하고 확신에 가득 찬 글은 우리가 건설해가는 세계에 대한 설득력 있고 대단히 파괴적인 상을 그린다.”
_ 대니얼 솔로브Daniel J. Solove, ≪Nothing to Hide≫의 저자

“새로운 정보화 사회에서 중추적인 역할을 하는 알고리즘 프로세스에 관한 시의적절하고 중요한 책이다. 파스콸레는 투명성 부족에서 비롯된 온갖 폐해를 살펴보며 시장이나 규제기관이 적절한 책임성을 담보하지 못하는 현실을 폭로한다. 그렇지만 그는 역행적으로 기술을 비판하는 게 아니라 사려 깊은 개혁안을 제시한다.”
_ 줄리 코헨Julie E. Cohen, ≪Configuring the Networked Self≫의 저자

“≪블랙박스 사회≫는 상당히 새로운 사고를 제공할 뿐만 아니라 프라이버시에 대한 우리의 논쟁을 진척시킬 것이다. 이 책은 또한 프라이버시에 대해 호기심을 가진 사람뿐만 아니라 이미 관련 서적에 익숙한 사람들에게도 아주 좋은 읽을거리를 제공한다.”
_ <사이언스>

“오락과 교육, 뉴스 혹은 상거래를 위해 인터넷을 이용하는 사람들은 모두 데이터 수집이라는 그물망에 연루되어 있는데, 그 방대함은 우리가 일반적으로 알고 있는 것을 뛰어 넘었다. 파스콸레가 폭로하고 있는 이 책이 보여주듯이, 그러한 사회는 기본적인 기능이 개인 데이터에 대한 수집과 알고리즘 조작을 통해 의도적인 불명확성 속에서 수행되어졌다.”
_ <네이처>

“파스콸레는 빅데이터와 알고리즘 경제에 대해 조언을 구할 수 있는 사상가 중 한 명으로 널리 알려져 있다. 또한 ≪블랙박스 사회≫(그의 트위터와 함께)는—만약 당신이 혼란스럽다면—그것에 대해 접할 수 있는 훌륭한 책이다. 당신은 데이터 수집과 그것의 이용 및 오용의 속도와 무분별함에 의해 압도당한 상태에서 빠져나올 수 있을 것이다.”
_ <플레이버와이어>

‘블랙박스’라는 용어는 그 자체의 이중적인 의미 덕분에 이런 문제를 이해하기 위한 비유로써 유용하다. 블랙박스는 본래 비행기, 기차, 자동차 안에 들어있는 데이터 모니터링 시스템 같은 기록 장치를 의미한다. 또는 불가사의한 방식으로 작동하는 시스템을 의미하기도 한다. 인풋과 아웃풋은 확인할 수 있어도 인풋이 어떻게 아웃풋으로 바뀌는지는 알 수 없는 시스템 말이다. 우리는 매일같이 이런 두 가지 의미의 블랙박스에 직면하고 있다. 기업과 정부로부터 갈수록 더 면밀히 추적당하면서도, 이런 정보가 얼마나 광범위하게 유통 및 활용되는지, 그리고 그 결과가 어떠한지는 명확히 알지 못하는 것이다. _ <서문> 중에서, p10 금융 기업이 돈을 다룬다면, 인터넷 기업들은 관심을 다룬다. 그들은 특정한 아이디어, 상품, 서비스로 사회의 관심을 몰아가는 한편, 나머지 부분에 대한 관심은 식게 만든다. 그들은 우리가 보게 될 세상을 조직하고, 우리는 그들이 제공하는 데이터 기반의 편의를 기꺼이 환영해왔다. 그러나 이제는 그 비용에 대해 솔직해질 필요가 있다.
_ <서문> 중에서, p15

이 책에서는 블랙박스를 비공개로 유지하는 결정적인 전략 세 가지를 살펴볼 것이다. 즉 실질적 비밀주의, 합법적 비밀주의, 난독화obfuscation 전략이다. 실질적 비밀주의는 감춰진 콘텐츠와 그에 대한 비인가된 접근 사이에 장벽을 설치하는 것이다. 우리는 문을 잠그거나 이메일에 비밀번호를 설정하는 등 매일매일 실질적 비밀주의를 이용한다. 합법적 비밀주의는 특정한 정보에 접근하는 사람들에게 그 정보를 비밀로 유지할 의무를 부여하는 것이다. 은행 직원은 법적 규정 및 근로 계약에 따라 고객 정보를 주변인에게 발설하지 않을 의무를 지닌다. 난독화 전략이란 비밀주의가 위협받을 때 의도적으로 은폐하려는 방법을 말한다. 이를테면 기업들은 정보 요청에 3,000만 페이지짜리 문서를 제출하여 수사관이 모래사장에서 바늘을 찾게 만드는 식으로 대응할 수 있다. 이상 세 가지 전략의 최종 결과는 불투명성이다. 이 책에서 불투명성이란 해소할 수 있는 불가해성을 포괄적으로 의미하는 용어다. _ <서문> 중에서, p15 당연히 이런 의문이 든다. 그러한 알고리즘 애플리케이션이 과연 공정할까? 그렇다면 왜 구글의 비디오 검색 결과에서는 (구글이 소유한) 유튜브가 항상 다른 비디오 사이트보다 상위에 랭크될까? 왜 특정한 식당이나 자동차 매물은 최고 인기 목록에 오르고, 다른 것들은 사라질까? 왜 인터넷 소매점은 동일 제품인데도 구매자에 따라 다른 가격을 매기는 것일까? 왜 어떤 대출자들은 상환이 늦어져도 용인되고, 어떤 대출자들은 그렇지 않을까? _ <서문> 중에서, p19

조지 다이슨George Dyson은 《튜링의 대성당Turing's Cathedral》이라는 책에서 “페이스북은 우리의 존재를 규정하고, 아마존은 우리가 원하는 바를 규정하며, 구글은 우리가 생각하는 바를 규정한다”고 재치 있게 표현했다. 우리는 이 경구를 확장시켜 금융은 우리가 (적어도 물질적으로) 소유한 바를 규정하고, 평판은 우리의 기회를 규정한다고 말할 수 있다.
_ <서문> 중에서, p29

디지털 연금술이 새로운 유사 현실을 창조하면서, 통제 불가능한 데이터는 이곳저곳으로 퍼져나가 연속적인 불이익을 초래할 수도 있다. 어느 소프트웨어에서 어떤 사람이 신용위험도가 높거나, 태만한 직장인이거나, 돈이 안 되는 소비자라고 일단 판단하게 되면, 그것이 경제 전반에 걸친 다른 시스템의 의사 결정에서도 영향력을 발휘하는 것이다. 현행법상 기업이 이러한 소비자 프로파일을 판매하지 못하게 금지하는 조항은 거의 전무했다. _ 1장 <평판 블랙박스> 중에서, p57

기업들은 수만 명씩 몰려드는 입사 지원자를 개별적으로 처리하려고 하지 않는다. 일단 소프트웨어 프로그램을 돌려 수백 개의 변수를 일괄처리하는 편이 더 쉽고 빠르기 때문이다. 면접 대상자를 색깔로 분류하는 온라인 평가 시스템도 있는데, 빨간색은 형편없는 지원자, 노란색은 중간 수준, 녹색은 합격 가능한 지원자를 표시한다. 일부 기업은 온라인에서 지원자의 삶을 검색하여, 소셜 네트워크나 검색 결과를 기초로 지원자의 창의성, 리더십, 기질 등의 등급을 매긴다. 신용 평점과 마찬가지로 소셜 평점이라는 신세계도 코칭의 수요를 창출한다(페이스북 댓글에 느낌표를 세 개 사용할 때는 한 번 더 생각하는 것이 좋다. 그러나 은둔형 외톨이처럼 보이기 싫거든 어느 정도 페이스북 활동을 해야 한다). _ 1장 <평판 블랙박스> 중에서, p60

누구나 데이터베이스에서 ‘신용도 낮음’, ‘의료비 높음’, ‘소득 감소’ 등의 모욕적인 평판으로 분류될 수 있다. 평판 시스템은 오류나 불공정성 때문에 냉대 받는 (대개 보이지 않는) 새로운 소수자를 만들어낸다. 알고리즘은 차별이라는 근본적인 문제에서 자유롭지 않다. 알고리즘 내의 부정적이고 근거 없는 가정이 편견으로 굳어지기 때문이다. 알고리즘도 인간이 프로그래밍하는 것이다 보니 개발자의 가치관이 소프트웨어에 이식된다. 알고리즘은 흔히 너무도 인간적인 편견이 반영된 데이터를 사용하고 있는 것이다.
_ 1장 <평판 블랙박스> 중에서, p66

편견은 표면상 ‘객관적인’ 데이터에 기초한 다른 자기강화적인 구조에도 개입될 수 있다. 과거에 경찰은 특정 우범 지역을 다른 지역보다 더 철저히 감시했다. 따라서 그런 지역의 주민이 전체 범죄 건수 중에 압도적인 비율을 차지한다고 해도 놀랄 일이 아니다. 설령 모든 지역의 범죄율이 동일하다고 해도, 범죄가 발생할 때 경찰이 지켜보고 있을 확률이 높기 때문이다. 이런 ‘객관적인’ 데이터는 ‘범죄율이 높은’ 지역의 경비를 한층 강화시키는 계기가 되어, 그 지역에서 체포되는 사람은 더욱더 늘어날 것이다.
_ 1장 <평판 블랙박스> 중에서, p72

작금의 디지털 경제는 생산성보다 마케팅을 우선시한다. 더 좋은 쥐덫을 만드는 기업보다 쥐덫의 잠재적 구매자를 찾아내는 기업에 더 많은 돈이 몰린다. 이제 중요한 것은 쥐나 쥐덫이 아니라 데이터, 즉 예측과 통제 알고리즘 시스템에 끊임없이 흘러들어가는 수치들이다. 이 같은 경제에서 프로파일링은 거대산업이 되었다.
_ 1장 <평판 블랙박스> 중에서, p93

 

우리는 검색엔진이 우리를 공정하게 대한다고 믿는다. 우리에게 있는 그대로를 보여주고, 가장 좋은 제안을 검색 결과의 맨 위에 제시하여 우리가 수천 페이지를 클릭해가며 뒤질 필요가 없게 해주며, 별다른 공지가 없는 한 적절성을 기준으로 순위를 매긴다고 믿는 것이다. 하지만 과연 그럴까? _ 2장 <검색 블랙박스> 중에서, p111

한 심리학자는 “지배적인 검색엔진이 박빙의 선거에서 후보자에 대한 인식을 바꿀 수 있음”을 입증하는 연구를 발표했다. (중략) 페이스북이 2010년에 ‘투표 독려’ 기능을 시험했을 때, 이용자의 투표율 제고 효과는 0.39퍼센트로, 2000년 미국 대선 같은 초박빙의 선거에서는 결과를 뒤집기에 충분한 수치였다. _ 2장 <검색 블랙박스> 중에서, p122

만약 온라인상에 아무것도 없다면, 아무도 검색을 하지 않을 것이다. 가 알페로비츠Gar Alperovitz와 루 데일리Lew Daly는 공저 《독식 비판Unjust Deserts》에서 현대 기술 발전의 토대가 된 과거 수백 년간의 노력을 추적했다. 웹 2.0과 웹 3.0의 최고 권력자들은 자신들의 창의성만큼이나 그들의 서비스를 개선하고 광고주를 끌어들인 수백만 명의 검색 사용자 덕분에 부유해졌다. 또 웹상의 콘텐츠를 채우는 창의적인 창작자들 덕분에 더욱더 부유해졌다. 그리고 그들의 신기술에 기여한 과거의 모든 기술 덕분에 부유해졌다. 일례로 19세기와 20세기의 통신과 컴퓨팅 기술이 없었다면, 검색 기술은 결코 등장하지 못했을 것이다. 그렇지만 온라인에서 발생한 수익은 점점 더 검색 인프라의 지배자들에게 집중될 뿐이고, 그 인프라를 가능하고 의미 있게 만든 문화를 지탱하는 쪽으로 흘러가는 수익은 점점 줄어들었다. _ 2장 <검색 블랙박스> 중에서, p139

빅데이터 신봉자들에게 ‘구글화’는 궁극적으로 희망적인 과정이다. 시스템에 해석학을 접목시켜 어떤 결정에서든 최대한의 효과를, 어떤 검색에서든 최대한의 관련성을, 어떤 투자에서든 최대한의 위험 조정 수익을 얻어내는 과정인 것이다. 제프 자비스Jeff Jarvis의 말을 빌리자면, 오늘날의 기업은 “구글이라면 어떻게 할까”를 끊임없이 자문해야 한다. 그렇지만 그 대답은 너무도 명쾌하다. 구글이라면 자신들의 데이터를 이용해 경쟁사를 물리치고, 고객들로부터 최대한의 이익을 뽑아내려 할 것이다.
_ 2장 <검색 블랙박스> 중에서, p157

1990년대 후반에, 기술의 열혈 지지자들은 검색엔진을 인터넷의 전례 없는 민주화로 여겼다. 검색엔진의 등장으로 전 세계의 콘텐츠 창작자들은 광범위한 사용자에게 도달할 수 있게 되었다. 웹2.0은 심지어 가상 커뮤니티를 스스로 구성할 수 있게 하여 진일보한 ‘민주화’를 지향했다. 그러나 최근 상업의 변화는 전혀 다른, 오히려 반대되는 결과를 보여준다. 혼잡한 온라인 세계를 명료하고 협력적으로 만들었던 바로 그 세력이 다시 모호한 마케팅, 불공정한 경쟁, 변화무쌍한 현실의 왜곡을 부추기고 있는 것이다.
_ 2장 <검색 블랙박스> 중에서, p159
지난 수십 년간 금융 분야에서는 컴퓨터 기반의 의사 결정이 늘어났다. 우리는 일반적으로 정보 기술이 금융 분야를 더 불투명하게 하기보다 더 명료하게 만들 것으로 생각한다. 알고리즘은 직관적인 본능과 편향성을 타당한 의사 결정 프레임워크로 대체하여 금융 분야를 합리화할 것으로 기대되었다. 예를 들어 신용 평점은 지역 모기지 담당자의 편견과 변덕을 전문가의 중립적이고 일관된 신용 할당으로 대체하려는 목적이었다. 그러나 기대와 달리 대출 상환이 한 번만 늦어져도, 한 가정에 수만 달러의 추가 비용을 물리는 식의 자의적인 평가가 속출했다. (중략) 사이보그 금융은 복잡한 거래를 어느 때보다 신속히 처리하는 반면, 유리한 입지의 내부자들에게 부당한 이득을 안겨주었다.
_ 3장 <금융 블랙박스> 중에서, p166

제로섬 게임이 될 수밖에 없는 계약에서 양측이 모두 수익을 얻을 것이라고 주장할 수 있다는 점이 블랙박스 금융으로 인한 리스크를 이해하는 핵심이다.
_ 3장 <금융 블랙박스> 중에서, p199

오늘날의 금융권 논쟁은 어떤 유용한 서비스를 사회에 제공할 것인가에 대한 폭넓은 사회적 관심사에서 점점 멀어지면서, 지나치게 금융업계 내부자들에게 유리한 쪽으로 기울고 있었다. 금융업계의 이런 추세는 블랙박스 금융의 최첨단 형태에서 극한에 도달했다. 바로 초고속 알고리즘 트레이딩이다. _ 3장 <금융 블랙박스> 중에서, p205

블랙박스 금융은 조잡한 경우부터 교묘한 경우까지, 범죄에 해당하는 경우부터 단순히 복잡한 경우까지 범위가 다양하다. (중략) 시장 붕괴는 사기의 결과일까 아니면 단순히 무능의 결과일까? 논쟁의 결론이 어떻게 나든 간에 모든 관련자는 보다 근본적인 진실에 동의해야 한다. 오늘날의 금융에서 대출자, 대출업체, 고객, 규제기관, 대중에게 정보를 감추고 있는 부분이 지나치게 많다는 점 말이다. _ 3장 <금융 블랙박스> 중에서, p216

웹사이트의 서비스 약관은 ‘프라이버시 정책’이라기보다 사용자의 권리를 서비스 제공 회사에 양도하겠다는 계약에 가깝다. 약관 내용을 꼼꼼히 읽어보면, 대부분이 기업을 보호하는 조항일 뿐 소비자를 위한 조항은 거의 없다는 사실을 발견할 것이다. ‘서비스 약관’ 페이지가 뜨면 어차피 그 내용을 변경할 여지가 없음을 잘 아는 사용자는 기계적으로 ‘동의한다’를 클릭한다. (중략) 기업의 최신 수법은 당사자에게 통보하지 않고도 향후에 동의 사항을 변경할 수 있도록 ‘일방적 수정’ 조항을 약관에 포함시키는 것이다. 이것은 시장의 형태를 띤 봉건적 관계로서, 우리는 모두 누가 그런 ‘동의서’를 지배하는지를 잘 알고 있다. _ 4장 <감시자 감시하기> 중에서, p230

어떤 기업이 우리에 관한 전자 문서를 작성한다면, 우리는 그 문서를 점검하고 정정할 기회를 누릴 자격이 있다. 소매업체가 임신 여성의 출산 예정일을 예측하고, 디지털 마케터가 우리를 ‘조울증 증상’이나 ‘당뇨병 위험’ 등으로 분류한다면, 그런 자료 또한 일반적인 진료 기록 못지않게 민감하므로 의료 프라이버시법이 적용되어야 한다.
_ 4장 <감시자 감시하기> 중에서, p235
빅데이터 기술과 예측 분석은 사적인 이익뿐 아니라 공적인 가치도 증진시킬 수 있다. 그러나 현재 정부는 전자와 후자를 혼동하며, 대중의 알 권리보다 이익을 중시하는 경향이 있었다. 평판, 검색, 금융 분야에 관한 중대한 의사 결정을 영리 기업에 내맡긴 결과, 우리는 점점 그 결정이 얼마나 잘 실행되는지는 고사하고 그 내용이 무엇인지조차 파악하지 못하고 있었다. 그 결과, 과거의 가장 유명한 부정부패 폭로자들조차 개혁은 불가능하다고 인정하는 세상이 되었다. _ 4장 <감시자 감시하기> 중에서, p291

구글의 공동창업자 세르게이 브린은 언젠가 “완벽한 검색엔진이란 신의 마음과도 같아질 것”이라고 말했다. 구글이 지도 서비스, 휴대폰 소프트웨어, 홈 관리 시스템 등으로 투자를 확대하면서, 보고, 듣고, 추적하고, 감지하는 능력도 점점 증가한다는 것이다.
_ 4장 <감시자 감시하기> 중에서, p294

블랙박스의 외부자들에게도 플라톤의 또 다른 비유가 적절하다. 동굴의 비유에서 돌벽을 향하도록 사슬에 묶여있는 죄수들은 등 뒤의 불빛이 벽면에 비추는 그림자를 바라보았다. 죄수들은 그림자를 만드는 사람들의 의도는 물론이고 행동도 이해하지 못했다. 그저 눈앞에 보이는 이미지만이 그들이 아는 현실의 전부였다. 블랙박스 기술을 이해하지 못한 채 사용하는 데만 만족하는 사람들도 이런 죄수들처럼 매혹적인 결과를 바라볼 수는 있어도, 조작이나 착취로부터 스스로를 보호할 방법은 없었다.
_ 5장 <알기 쉬운 사회를 향하여> 중에서, p299

그러나 비밀주의가 지배적인 풍토에서는 잘못된 정보가 올바른 정보만큼이나 오래 유지되며, 부당하고 심지어 파괴적인 예측을 부르기 쉽다. 블랙박스 모델링을 대대적으로 사용할 경우, 그 모델을 관리하는 내부자에게는 아무리 이익이 되더라도 사회 전반에는 위험할 수밖에 없는 이유가 바로 여기에 있다. 무고한 개인이 사전 검토는커녕 그 존재조차 알지 못하는 부정확한 블랙박스 때문에 안보 위협 요인이나 태만한 직원이나 신용 리스크로 낙인찍혀 상처를 입는다면, 그것만으로도 블랙박스는 충분히 나쁜 것이다. 부당하거나 부적절한 편견이 알고리즘의 권한과 결합하여, 단지 예측할 뿐이라고 주장하는, 실패를 실제로 현실화한다면 모델링은 더더욱 문제가 있다.
_ 5장 <알기 쉬운 사회를 향하여> 중에서, p337

블랙박스는 흔히 경탄스러워 보이지만, 우리의 블랙박스 사회는 위험을 초래할 만큼 불안정하고 불공정하며 비생산적이다. 뉴욕의 퀀트든 캘리포니아의 공학자든 건전한 경제나 안전한 사회를 보장하지는 못한다. 그것은 시민들이 담당해야 할 몫이고, 시민들은 위험을 이해할 수 있을 때에만 제 역할을 수행할 수 있다.
_ 5장 <알기 쉬운 사회를 향하여> 중에서, p340

목차
서문 - 알아야 할 것들 ......................................................7
1 평판 블랙박스 : 데이터 폭주 시대의 디지털 평판 ............35
2 검색 블랙박스 : 감춰진 로직 .........................................97
3 금융 블랙박스 : 황제의 새 코드 ...................................163
4 감시자 감시하기 .........................................................223
5 알기 쉬운 사회를 향하여 .............................................295
감사의 말