이 책에서 다루는 내용

21세기는 그 영역과 영향 모두에서 통계적 기법이 숨막힐 정도로 확장돼 왔다. 통계적 기법이 현대 과학과 상거래의 방대한 데이터 집합을 다루게 되면서, 이제 ‘빅데이터’, ‘데이터 과학’, ‘머신러닝’이라는 말은 신문 지상에서 흔히 접하는 용어가 됐다. 어떻게 여기까지 오게 됐을까? 그리고 어디로 향하고 있는 것일까? 이 모든 것은 어떻게 통합될 것인가?

이 책은 현대 통계 사상의 집약 과정을 보여준다. 전통적 추론 이론인 베이즈, 빈도주의, 피셔에서 출발해 각 장은 일련의 영향력 있는 주제를 다룬다. 생존 분석, 로지스틱 회귀, 경험적 베이즈, 잭나이프와 부트스트랩, 랜덤 포레스트, 신경망, 마르코프 체인 몬테 카를로, 모델 선정 후 추론 등 수십 가지 주제가 있으며, 현대적 기법을 통해 방법론과 알고리듬을 통계적 추론과 통합한다. 각 장은 수업에서 검증된 연습문제로 끝나며 데이터 과학의 미래 방향을 예측하는 것으로 결론을 내린다.

이 책의 구성

이 책은 크게 세 가지 부분으로 나눠서 관련 역사에 따라 전개된다. 1부에서 이야기할 전통적 추론의 위대한 주제인 베이즈, 빈도주의, 피셔주의는 전자식 컴퓨터 시대가 도래하기 전까지는 제 역할을 했으며, 현대에 와서는 그 기본 윤곽을 변형시키지 않고도 방대한 확장을 하고 있다(전통적 방식과 현대적 방식의 유사점을 살펴볼 수도 있다). 2부에서는 컴퓨터 시대 개발의 초기인 1950년부터 1990년대까지를 알아본다. 이 시기는 전환기로, 이전보다 빨라진 연산이 통계적 기법의 발전에 실제로 기여했는지 없는지를 이론과 실제에서 가장 쉽게 파악해볼 수 있다. 3부에서는 ‘21세기 주제’라는 제목으로 현시대를 다룬다. 현시대는 놀라울 만큼 대단한 알고리듬의 시대다(‘머신러닝’은 다소 불안감을 조성하는 선전 문구다). 이를 정당화하는 것은 현대의 통계적 추론에서 지속적으로 수행되는 과제이기도 하다.

학생판에는 130개의 연습문제를 추가했다. 연습문제는 문제 해결 및 책에 제시된 아이디어와 방법론의 구현을 통해 자료에 대한 이해를 향상시킬 것이다. 연습문제는 대학원 수준에서 직접 강의했던 자료로부터 추출한 것이다.

지은이의 말

통계적 추론(Statistical Inference)은 광범위한 학문 분야며 수학, 경험적 과학, 철학이 삼각 지점을 이루며 만나는 곳에 위치하고 있다. 이 분야는 베이즈 규칙이 발표된 1763년부터 비롯됐다고 말할 수도 있다(이는 이 주제의 철학적 부분을 의미하는데, 베이즈 규칙의 초기 신봉자들은 이것이야말로 신이 존재한다는 증거라고 치켜세우기까지 했다). 이 250년의 역사 중 가장 최근 1/4에 해당하는 1950년부터 지금까지는 이 책의 제목처럼 ‘컴퓨터시대(Computer Age)’며, 이 시대에는 통계적 응용의 전통적인 병목 부분인 연산 능력에서 수백만 배 이상 더 빠르고 간편한 계산이 가능해졌다.

이 책은 과거 60년 동안 통계학이 어떻게 발전해왔는지 개괄적으로 조망한다. 제트기나 인공위성처럼 까마득히 높은 곳에서 살펴보는 것이 아니라, 경비행기 정도의 높이에서 비교적 자세히 조망해 본다. 개별 장은 각 핵심 기법의 발달과 그 추론적 정당성에 대해 설명하는 일련의 주요 주제를 다룬다. 여기에는 일반화 선형 모델, 생존율 분석, 잭나이프와 부트스트랩, 오발견율, 경험적 베이즈, MCMC, 신경망 등과 같은 수십 가지 주제가 있다.

두말할 필요도 없이, 전자식 컴퓨터 계산은 이 이야기 전체의 핵심 요소다. 그렇다고 해서 모든 발전이 컴퓨터와 연계돼 있다는 뜻은 아니다. 신대륙을 향해 해상을 가로지르는 다리가 건설됐지만, 모두가 그 다리를 건너고자 하지는 않는 법이다. 경험적 베이즈나 제임스-스타인 추정 등의 주제는 기계적 계산이라는 제약 속에서도 충분히 등장할 수 있었다. 한편 부트스트랩이나 비례적 위험 등은 순전히 전자식 컴퓨터 시대의 산물이다. 21세기 통계학과 관련된 대부분의 주제는 이제 컴퓨터에 의존하고 있지만, 우리의 경비행기가 새로운 시대를 맞이할 때까지는 다소 시간이 걸릴 것이다.

이 책의 주제들은 연산 기법과 추론 이론 간의 상호작용에 대한 실례를 위해 선정했으며, 목록이나 백과사전식 나열을 추구하지 않았다. 몇몇 주제는 이 책에 담긴 사례만큼이나 중요하지만 생략됐다. 예를 들어 시계열, 일반 추정식, 인과 추론, 그래픽 모델, 경험적 디자인 등이다. 어떤 경우에도 이 책에 나열된 주제만이 연구 가치가 있다고 암시하는 것은 절대 아니라는 점을 밝혀둔다.

옮긴이의 말

이 책은 전통적 추론의 핵심 주제인 베이즈, 빈도주의, 피셔주의로부터 현대적 컴퓨터 시대의 빅데이터에 이르기까지 시대별 흐름과 추론의 발전을 마치 장편 역사책처럼 조명한다. 단순한 이론적 설명에 그치지 않고 전체의 흐름을 통해 여러 기법의 유기적 관계와 상대성에 관해 깊은 인식을 가질 수 있게 해 준다.

특히 이 책의 저자 중 한 명인 브래들리 에프론은 추론에서 표준적 방법으로 자리잡은 부트스트래핑을 비롯한 수많은 경험적 추론을 발명한 대가로, 각종 추론에 대한 심도 있는 설명을 직접 듣는 짜릿한 경험을 할 수 있다. 이 책 한 권으로 알고리듬과 추론 사이의 관계, 서로의 역할에 대해 명쾌히 정립할 수 있으리라 믿는다.

1부. 전통적인 통계적 추론

01장. 알고리듬과 추론
__1.1 회귀 예제
__1.2 가설 검정
__1.3 주석 및 상세 설명
__1.4 연습문제

02장. 빈도주의 추론
__2.1 실제에서의 빈도주의
__2.2 빈도주의 최적성
__2.3 주석 및 상세 설명
__2.4 연습문제

03장. 베이즈 추론
__3.1 두 가지 예제
__3.2 불충분 정보 사전 분포
__3.3 빈도주의 추론의 결함
__3.4 베이즈/빈도주의 비교 리스트
__3.5 주석 및 상세 설명
__3.6 연습문제

04장. 피셔 추론과 최대 우도 추정
__4.1 우도와 최대 우도
__4.2 피셔 정보와 MLE
__4.3 조건부 추론
__4.4 순열과 랜덤화
__4.5 주석 및 상세 설명
__4.6 연습문제

05장. 모수적 모델과 지수 패밀리
__5.1 일변량 패밀리
__5.2 다변량 정규분포
__5.3 다모수 패밀리의 피셔 정보 경계
__5.4 다항분포
__5.5 지수 패밀리
__5.6 주석 및 상세 설명
__5.7 연습문제

2부. 초기 컴퓨터 시대 기법

06장. 경험적 베이즈
__6.1 로빈의 공식
__6.2 누락된 종 문제
__6.3 의학 예제
__6.4 간접 증거 1
__6.5 주석 및 상세 설명
__6.6 연습문제

07장. 제임스-스타인 추정과 리지 회귀
__7.1 제임스-스타인 추정기
__7.2 야구 선수들
__7.3 리지 회귀
__7.4 간접 증거 2
__7.5 주석 및 상세 설명
__7.6 연습문제

08장. 일반화된 선형 모델과 회귀 트리
__8.1 로지스틱 회귀
__8.2 일반화 선형 모델
__8.3 포아송 회귀
__8.4 회귀 트리
__8.5 주석 및 상세 설명
__8.6 연습문제

09장. 생존 분석과 EM 알고리듬
__9.1 생명표와 위험률
__9.2 검열된 데이터와 카플란-마이어 추정
__9.3 로그 순위 검정
__9.4 비례적 위험 모델
__9.5 누락 데이터와 EM 알고리듬
__9.6 주석 및 상세 설명
__9.7 연습문제

10장. 잭나이프와 부트스트랩
__10.1 표준오차에 대한 잭나이프 추정
__10.2 비모수적 부트스트랩
__10.3 재표본추출 계획
____극소 잭나이프
____다표본 부트스트랩
____이동 블록 부트스트랩
____베이즈 부트스트랩
__10.4 모수적 부트스트랩
__10.5 영향 함수와 안정적 추정
__10.6 주석 및 상세 설명
____부트스트랩 패키지
__10.7 연습문제

11장. 부트스트랩 신뢰구간
__11.1 단일 모수 문제에 대한 네이만의 구성
____변환 불변성
__11.2 퍼센타일 기법
__11.3 편향 수정 신뢰구간
__11.4 2차 정확성
__11.5 부트스트랩-t 구간
__11.6 객관적 베이즈 구간과 신뢰분포
__11.7 주석 및 상세 설명
__11.8 연습문제

12장. 교차 검증과 Cp 예측 오차 추정
__12.1 예측 규칙
__12.2 교차 검증
__12.3 공분산 페널티
__12.4 훈련, 검증, 단기 예측 변수
__12.5 주석 및 상세 설명
__12.6 연습문제

13장. 객관적 베이즈 추론과 마르코프 체인 몬테 카를로
__13.1 객관적 사전 분포
____범위 매칭 사전 분포
__13.2 켤레 사전 분포
____객관적 베이즈 추론에 대한 비평
__13.3 모델 선택과 베이즈 정보 기준
__13.4 깁스 표본과 MCMC
__13.5 예제: 개체군 혼합물 모델링
__13.6 주석 및 상세 설명
__13.7 연습문제

14장. 전후 시대의 통계적 추론과 기법

3부. 21세기 주제

15장. 대규모 가설 검정과 거짓 발견율
__15.1 대규모 검정
__15.2 거짓 발견율
__15.3 경험적 베이즈 대규모 검정
__15.4 지역 거짓 발견율
__15.5 귀무분포의 선택
____경험적 귀무 추정
__15.6 연관성
____요약
__15.7 주석 및 상세 설명
__15.8 연습문제

16장. 희소 모델링과 라소
__16.1 전방 단계별 회귀
__16.2 라소
__16.3 라소 모델 적합화
__16.4 최소각 회귀
____라소와 자유도
__16.5 일반화된 라소 모델 적합화
__16.6 라소를 위한 선택-후 추론
__16.7 연결과 확장
____라소 로지스틱 회귀와 SVM
____라소와 부스팅
____라소의 확장
__16.8 주석 및 상세 설명
__16.9 연습문제

17장. 랜덤 포레스트와 부스팅
__17.1 랜덤 포레스트
____OOB 오차 추정
____표준오차
____변수 중요도 그래프
__17.2 제곱 오차 손실 함수를 사용한 부스팅
____트리 깊이와 상호작용 복잡도
____축소
__17.3 그래디언트 부스팅
__17.4 에이다부스트: 원래의 부스팅 알고리즘
__17.5 연결과 확장
____일반화 가첨 모델
____부스팅과 라소
__17.6 주석 및 상세 설명
__17.7 연습문제

18장. 신경망과 딥러닝
__18.1 신경망과 필기체 숫자 문제
__18.2 신경망 적합화
____그래디언트 계산: 역전파
____그래디언트 하강
____다른 튜닝 모수들
__18.3 오토인코더
__18.4 딥러닝
__18.5 딥 네트워크 학습
__18.6 주석 및 상세 설명
__18.7 연습문제

19장. 서포트 벡터 머신과 커널 기법
__19.1 최적 분리 초평면
__19.2 소프트 마진 분류기
__19.3 손실 플러스 페널티로서의 SVM 기준
__19.4 계산과 커널 트릭
__19.5 커널을 이용한 함수 적합화
__19.6 예제: 단백질 분류에 대한 문자열 커널
__19.7 SVM: 결론
__19.8 커널 평활화와 지역 회귀
__19.9 주석 및 상세 설명
__19.10 연습문제

20장. 모델 선택 후의 추론
__20.1 동시 신뢰구간
__20.2 모델 선택 후 정확도
__20.3 선택 편향
__20.4 병합된 베이즈-빈도주의 추정
__20.5 주석 및 상세 설명
__20.6 연습문제

21장. 경험적 베이즈 추정 전략
__21.1 베이즈 디컨볼루션
__21.2 g-모델링과 추정
__21.3 우도, 정규화, 정확도
__21.4 두 가지 예제
__21.5 일반적 선형 혼합 모델
__21.6 디컨볼루션과 f-모델링
__21.7 주석 및 상세 설명
__21.8 연습문제