우리는 전문가들의 조언이라면 의심하지 않고 그냥 믿어버리는 경향이 있다
얼마 전 모 방송사 뉴스에서 숨겨진 장자연의 친필 편지라며 특종이라고 보도했다가 뒤늦게 오보라며 사과 방송을 한 적이 있다. 해당 방송사 취재팀이 자살한 장자연 씨의 친필 여부를 전문가에게 확인하고 특종보도했지만, 국립과학수사연구소의 재확인 결과 다른 사람이 서체를 베꼈음이 드러난 사건이었다. 서체 전문가의 말을 한 번쯤 의심해보고 제3자에게 맡겨 다시 재확인했다면, 방송사의 명예를 실추시키는 이런 사태는 벌어지지 않았을지도 모른다. 전문가의 안목을 너무 믿다가 벌어진 일이라고 할 수 있다.

<네이처>
<사이언스>
등 유명 저널에 게재되는 논문의 3분의 2가 제대로 검증하면 틀렸다. 의사들은 6번에 1번꼴로 환자를 오진하고, 오진의 약 절반은 ‘실제적인 피해’를 가져온다. 비만과 관련된 요인이 무려 3000가지인데 다이어트 전문가들은 보통 그중 단지 한두 가지에 초점을 맞춘다. 시장평균 이상의 수익률을 확신하며 특정 금융상품을 권유하는 재테크 전문가들은 시장평균 이상의 수익률을 올린 적이 없다.

정보 과잉의 시대에 사는 우리는 수천수만 개의 정보 중에서 우리에게 꼭 필요한 정보를 취사선택하기 위해서 전문가들의 조언에 귀 기울이지 않을 수 없다. 그 수많은 정보 중에서 무엇이 옳은지를 골라낼 안목도 시간적 여유도 부족하기 때문이다. 이 책은 우리가 일상생활 속에서 믿고 의지하는 전문가들이 과장된 거짓말을 강요하는 사회적 시스템 속에서 왜 그들이 오류에 빠지는지, 그리고 우리가 더 신뢰할 만한 전문적인 조언을 찾아내려면 어떻게 해야 하는지를 다룬다.

어떻게 해서 전문가들(과학자, 경영의 대가, 아주 높은 신뢰를 받는 다른 여러 조언자를 비롯하여)이 다양한 측정 오류의 희생물이 되는지, 또 그들이 심각한 오류를 범함으로써 허풍이나 심지어 노골적인 부정을 저지르는 사람으로 전락하는지, 그들 간의 상호 교류가 흔히 이런 문제를 바로잡기보다는 오히려 더 악화시키는지를 보여준다. 또한, 대중매체가 전문가들의 의심스러운 조언을 퍼뜨리고, 더 나아가 그것을 왜곡시키는 방식뿐만 아니라 우리들의 이렇게 조작된 엉터리 조언을 접하게 되는 과정, 그리고 이런 조언들이 인터넷에서 더욱더 왜곡되는 과정을 살펴본다. 끝으로, 우리가 찾아낸 모든 자료를 이용하여 가장 의심스러운 전문적 조언과 타당성이 더 높은 조언을 구분할 수 있는 대략적인 지침도 제시한다.




전문가들이 오류와 편견에 빠지는 6가지 패턴

전문가들이 비록 좋은 자료를 갖고 있다 해도 그들은 그것을 잘못 이용할 가능성이 크다. 왜냐하면, 그들은 과학자들과 신뢰도가 높은 전문가들이 저지르리라고 거의 상상하지 못하는 다음과 같은 다양한 함정에 빠지기 때문이다.

편견과 부패: 의사들이 환자를 부추겨서 불필요하거나 값비싼 검사를 받게 하고, 정부 관리들이 호의와 상납을 받고, 중개인들이 수수료를 더 받기 위해 고객의 계정에서 필요 이상으로 거래를 자주 한다는 등의 이야기가 끊임없이 들린다.

비합리적인 사고: 은행들이 수입보다 훨씬 더 값비싼 집을 사들이려는, 신용이 상당히 떨어지는 사람들에게 더 많은 돈을 대출해주는 행동에는 어떤 합리적인 근거도 없다. 많은 사람이 주식의 움직임에 대해 특별한 지식이 있다고 주장하는 TV 출연자의 선동적이고, 허풍스럽고, 충격적인 조언을 아직도 신뢰한다는 사실은, 어떻게 일부 전문가들이 노골적인 비합리성을 이용하여 개인적으로 큰 성공을 거두고 있는지를 잘 보여준다.

청중에 대한 고려: 실질적인 헬스 자격증이 없는 유명인들은 물론이고 의사, 헬스 트레이너, 영양사들은 왜 다이어트 방법을 소개하는 책을 계속 쓰는 것일까? 한 가지 이유는 우리가 건강에 해로운 음식에 대한 질리지 않는 식욕을 갖고 있을 뿐만 아니라, 해로운 음식 없이도 편하게 살 수 있다거나 그런 음식을 먹어도 체중이 늘지 않는 비법을 간절하게 원하기 때문이다. 달리 말하면, 때로 전문가들은 제대로 효과가 있는지 깊이 생각해보지도 않고 우리의 요구에 맞추어 황당할 정도가 신뢰하기 어려운 조언을 해준다.

능력 부족: 2008년 베이징올림픽 때 대중매체들은 사상 유례가 없는 5000명의 선수들에 대한 약물복용 검사가 단지 6건의 양성반응을 찾아낸 사실(지난 10여 년간보다 양성반응 사례가 많이 감소했다)에 대해 다양한 전문가의 의견을 내세워 대대적으로 보도했다. 그러나 많은 논평가는 베이징올림픽에서 세계신기록을 세운 총 43명의 선수 중 일부가 의심스럽다고 지적했다. 몇몇 주요 대도시(가장 대표적으로는 디트로이트)와, 심지어 FBI 법의학 실험실의 업무 수준도 너무 빈약해서 당혹스러울 정도다. 물질적인 증거를 분실하고, 오염시키고, 잘못 분석하고, 심지어 조작하기도 한다.

감독의 부재: 대부분의 비공식적인 전문가들은 더 현명하거나 신중한 사람들에게 지적당할지도 모른다는 두려움 없이 성급히 결론을 내린다. 일반적으로 상관들이 실제로 많은 사안에 개입할 수 있다. 그러나 단기적으로 보면, 대부분의 비공식적인 전문가들은 많은 문제에 대해 전혀 감독을 받지 않는다.

자동적인 대응: 의사에서 비행사, 대출 담당 사무원에 이르기까지 우리 주변의 전문가들을 살펴보면, 노련한 전문가와 초보자를 구분할 수 있는 기준이 올바른 결정을 내릴 수 있는 능력이라기보다는 자동적인 대응 능력임을 알 수 있다. 달리 말하면, 아주 유능한 주변의 전문가들도 올바른 결정을 내릴 수 있는 능력을 갖추었다고 보기 어렵다. 그들은 사안에 대해 더 빠르게 대처할 수 있을 뿐이다.




다수 관점이 옳은 관점을 이긴다

18세기 프랑스의 니콜라 드 콩도르세Nicolas de Condorcet는 배심원단이 개인보다 올바른 평결을 할 가능성이 더 큰지에 관해 곰곰이 생각했다. 콩도르세는 평균적으로 볼 때 집단이 개인보다 올바른 평결을 내릴 확률이 약간 더 높다는 가정에서 출발했다. 나중에는 어떤 부류의 사람으로 배심원을 구성할 때 잘못된 결론에 도달할 가능성이 있느냐는 문제를 다루었다. 그는 약간의 수학을 이용하여 배심원단이 개인보다 올바른 평결을 내릴 확률이 더 높다고 말했다. ‘콩도르세의 배심원 이론Condorcet jury theorem’은 약간의 좋은 판단력을 가진 한 개인은 옳은 결정을 내릴 확률이 낮지만 그런 사람들이 함께 모여 집단을 이루면 그 확률이 크게 높아진다는 점을 보여준다.

콩도르세 배심원 이론은 (적어도 가장 단순한 형태의 경우) 대부분의 집단적 의사결정 방법에 대한 매우 비현실적인 모델에 기초한다. 구체적으로 말하면, 이 이론은 집단 내 상호작용(예를 들어 옳은 사람들이 오류에 빠진 사람들의 마음을 바꾸도록 설득하는 방법들)을 무시한다.

집단이 가진 큰 문제가 단순히 효율성의 부재라면, 그것이 그렇게 심각할 정도로 나쁘지는 않을 것이다. 그러나 안타깝게도 집단 또는 공동체의 생산물을 양이 아니라 질에 의해 평가할 때 상황은 더 나쁘다. 집단적 사고의 문제점은 1972년 예일대학 심리학 연구자 어빙 자니스Irving Janis의 ‘집단사고’에 대한 고전적인 연구를 비롯한 일련의 연구들에 의해 반복적으로 강조되었다. 이 연구는 어떻게 집단에 속한 개인들이 혼자서는 절대로 내리지 않을 끔찍한 결정을 내릴 수 있는지를 보여주었다. 자니스와 다른 많은 연구자가 보여주었듯, 그리고 우리도 대부분 너무나 잘 알고 있듯 집단은 가장 옳은 사람들이 아니라 호전적이고, 설득력이 있고, 집요하고, 사람을 잘 다루고 억지로 몰아붙이는 사람들에 의해 흔히 좌우된다.




전문가의 오류를 피하기 위한 간단한 철칙

일반적으로 많은 사람이 조언하는 전문지식은 오류율이 평균 이상이다. 특히 다음의 상황에 해당한다면 더욱 조심해야 한다. 이것은 신뢰하기 어려운 전문가 조언의 일반적인 특징이랄 수 있다.

단순하고, 보편적이고, 확정적일 때: 전문가들의 조언이 폭넓은 효과를 약속하고, 짧고 듣기 좋은 문구나 신문기사 제목같이 표현된 경우(가령 “커피를 마시면 수명이 늘어난다!”) 그런 조언은 엉터리 전문가들이 잘못된 측정, 나쁜 분석, 편견을 통해 제시되었거나 연구 결과가 학술저널이나 대중매체에 실릴 때 어떤 사항이 빠졌을 가능성이 크다.

단 한 건의 연구 또는 많지만 소규모로 이루어졌거나 부주의한 연구 또는 동물실험 연구에 근거한 경우: 오류의 위험은 연구가 수십 명을 대상으로 수행되거나(하지만, 통계적 우연성은 수천 명을 대상으로 한 연구에서조차도 나타날 수 있다), 실험 대상자가 통제되지 않거나, 실험 대상자의 선택이 무작위적이지 않거나(즉 교란변수가 나타날 수 있다), 또는 학생이나 매우 아픈 사람들과 같은 특정한 부류의 실험 대상자에게 한정될 경우(즉, 연구 결과가 다른 부류의 사람들에게는 타당하지 않을 수 있다) 더 높다. 동물실험 증거가 한두 건의 소규모 또는 비공식적인 인체실험 결과를 근거로 인간에게 그대로 ‘적용’하여 내놓는 조언들은 액면 그대로 받아들여서는 안 된다. 동물 연구가 어떤 결과를 보여준다 해도 엉성한 인간 대상 연구 결과는 단지 엉성한 결과일 뿐이다.

연구 결과가 획기적일 때: 새롭고, 놀랍게 보이는 전문가들의 연구 결과는 대부분 엄격하지 못한 소수의 연구 또는 흔히 단 한 건의 소규모 동물실험 연구에 바탕을 둔 것이다.

사람들이나 기관이 어떤 조언을 하면서 받아들이면 유익하다고 설득하는 경우: 물론 모든 전문가는 많은 청중의 관심을 끌려고 자신의 연구 결과가 유익하다고 주장한다. 그렇다고 해도 일부는 잠재적인 이해갈등 때문에 부작용을 일으킬 가능성이 많다. 연구의 결과에 따라 이익에 영향을 받는 개인 기업이나 산업 단체에서 직접 연구자금을 지원받았을 때 특히 더 그렇다.

최근의 실패나 위기가 장래에 다시 발생하지 않도록 막아준다는 조언들: 이런 조언은 ‘소 잃고 외양간 고치는’ 격이다.

머리말 전문가에 대해 깊은 좌절감을 맛보는 시대· 6

01 전문가들의 혼란스러운 조언
복잡하고 혼란스러운 전문가의 조언· 25 |미식축구, 영화, 광고 전문가들의 사례· 30 |전문가들의 함정에 빠지는 6가지 패턴· 44

02 과학자들의 문제 1
“전문가에 따르면”· 57 |중요하지 않은 사항에 대한 측정· 60 |잘못된 자료 측정· 71 |잘못된 동물시험 연구· 74 |
원하지 않는 자료의 폐기· 80 |골대 이동· 82 |교란변수· 83 |숫자 조작· 92 |대가를 받고 저지르는 오류· 94

03 확실성의 원리
오즈의 마법사 효과· 99 |우리가 기대하는 전문가 조언의 10가지 특징· 107 |비만에 대해 상반된 의견이 제시되는 이유· 116

04 대중의 어리석음
콩도르세의 배심원 이론· 127 |파킨슨의 법칙· 130 |다수의 관점이 옳은 관점을 이긴다· 138 |집단사고가 타당한 경우· 145

05 과학자들의 문제 2
과학 분야의 연구 조작 사례들· 151 |사실과 이론이 맞지 않을 경우 사실을 바꾸어라· 159 |연구 부정을 방치한 볼티모어 사건· 166 |형편없는 연구를 보증하는 전문가 리뷰· 172

06 전문가와 조직
혁신 피로감을 낳을 뿐인 경영이론 열풍· 183 |높은 성과를 달성한 기업에서 배울 경영 교훈은 없다· 196

07 전문가와 대중매체
대중이 좋아하느냐만이 기준· 213 |검증되지 않은 연구 결과를 보도하는 이유· 223

08 인터넷과 전문기술
지식격차 가설· 243 |전문지식 검색을 확 바꿀 수 있는 방법· 253 |인식의 경제화 문제· 264 |인터넷을 활용해 전문지식을 향상시키는 방법· 278

09 전문가의 오류를 피하기 위한 간단한 철칙
콜린스의 이미테이션 게임· 293 |타당성에 대한 명확한 기준이 없다· 298 |매사추세츠 종합병원의 퀴즈쇼· 306 |신뢰하기 어려운 전문가 조언의 일반적인 특징· 312 |무시해도 좋은 전문가 조언의 특징· 315 |신뢰도가 더 높은 전문지식의 특징· 321

부록 1 오류, 모순, 혼란이 드러난 전문지식의 사례들· 331
부록 2 전문지식의 발달· 345
부록 3 현대의 중요하고 명백한 과학적 사기에 관한 간단한 실례· 367
부록 4 이 책도 틀렸는가?· 373

감사의 글· 388
인용 자료에 대한 설명 및 주석· 390