베이지안 방법과 확률 프로그래밍, 이 모든 것을 파이썬으로!

수학 없이 파이썬 코드로 이해한다.
수식을 설명하지 않는다. 컴퓨터를 이용한 이해가 최우선이다. 베이지안에서 사용하는 MCMC 모델, 손실함수, A/B 테스팅 등을 파이썬 코드로 구현해보면서 내용을 이해하고 활용 방법을 익힌다. 결과적으로 베이지안 추론이 무엇이고, 다른 통계적 추론과 어떤 차이가 있는지 이해한다.

계산 문제 대신 실생활 문제를 풀어본다.
실생활 문제를 사용하여 베이지안 수학과 확률 프로그래밍을 연결시킨다. 문자 메시지 데이터에서 사용자 행동 추론하기, 학생들의 부정행위 빈도 추론하기, 캐글의 미국 인구조사 회신율 챌린지 도전하기 같은 예제를 베이지안 방법으로 풀어본다.

PyMC + 주피터노트북으로 데이터를 시각화해서 파악한다.
PyMC라는 파이썬 라이브러리로 베이지안 통계 모델링과 확률적 기계학습을 구현한다. 파이썬 코드를 쉽게 입력, 수정, 삭제하고, 실행 결과와 그래프를 바로 볼 수 있도록 주피터노트북을 사용한다.

 

[이 책의 내용]
1장 베이지안 방식으로 생각하기
2장 PyMC로 베이지안 모델링 시작하기
3장 MCMC로 알고리즘 수렴 여부 간파하기
4장 베이지안 추론에서 표본 크기 이해하기
5장 손실함수로 추론이 틀릴 확률 계산하기
6장 적절한 사전확률분포 고르기
7장 A/B 테스트에서 베이지안 추론 사용하기
[저자 서문]
베이지안 방법은 자연스러운 추론 방법이지만, 내용이 따분하고 수학적인 분석으로 가득 차 있어 독자와 거리가 멀다. 전형적인 베이지안 추론 책에서는 확률 이론이 2~3개 장 분량으로 나온 다음 베이지안 추...
[이 책의 내용]
1장 베이지안 방식으로 생각하기
2장 PyMC로 베이지안 모델링 시작하기
3장 MCMC로 알고리즘 수렴 여부 간파하기
4장 베이지안 추론에서 표본 크기 이해하기
5장 손실함수로 추론이 틀릴 확률 계산하기
6장 적절한 사전확률분포 고르기
7장 A/B 테스트에서 베이지안 추론 사용하기
[저자 서문]
베이지안 방법은 자연스러운 추론 방법이지만, 내용이 따분하고 수학적인 분석으로 가득 차 있어 독자와 거리가 멀다. 전형적인 베이지안 추론 책에서는 확률 이론이 2~3개 장 분량으로 나온 다음 베이지안 추론이 무엇인지 전개된다. 안타깝게도 대부분의 베이지안 모델은 수학적으로 다루기 어려워 독자에게는 간단하고 인위적인 예제만 제시된다.
최근 기계학습 경쟁에서 베이지안 방법이 성공을 거둔 이후 나는 이 주제를 다시 연구해보기로 마음먹었다. 수학적 지식이 있음에도 불구하고 예제를 읽고 단편적인 지식들을 합쳐 베이지안 방법을 이해하는 데 꼬박 사흘이 걸렸다. 이론을 실무로 이어주는 문헌이 충분하지 못했기 때문이다. 내가 잘못 이해했던 이유는 베이지안 수학과 확률 프로그래밍 사이가 연결되지 않아서였다. 내가 겪었던 것을 독자는 겪을 필요가 없을 거라고 생각한다. 이 책이 그 간극을 메워줄 것이다.
은 컴퓨터를 이용한 이해가 최우선이고, 수학은 그 다음이라는 관점으로 설계된 베이지안 추론 입문서다. 수학에는 관심이 없지만 베이지안 방법을 실습하고 싶은 열정적인 독자라면 이 책 한 권으로도 충분히 만족스럽고, 즐거울 것이다.
확률 프로그래밍 언어로 PyMC를 선택한 이유는 두 가지다. 첫째, 이 책을 쓸 당시 PyMC 분야에는 예제를 풀고 설명해주는 중심 리소스 역할을 하는 곳이 없었다. 공식 문서는 베이지안 추론과 확률 프로그래밍에 대한 사전지식이 있다고 가정하고 만들어졌다. 이 책이 독자의 사전지식 수준과 상관없이 PyMC를 사용하는 데 도움이 되었으면 한다. 둘째, 최근 파이썬에서 이루어진 핵심적인 발전과 과학 관련 스택의 인기로 PyMC가 곧 핵심 요소가 될 것으로 보인다.
PyMC를 실행하려면 NumPy와 선택 사항으로 SciPy 라이브러리가 필요하다. 사용자의 편의를 위해 이 책의 예제는 PyMC, Numpy, SciPy, matplotlib만 있으면 된다.
이 책에서 사용한 데이터셋은 온라인에서 모두 얻을 수 있다.
● URL: https://github.com/CamDavidsonPilon/Probabilistic-Programming-and-Bayesian-
Methods-for-Hackers
● 길벗출판사 URL: https://github.com/gilbutITbook/006775
[역자 서문]
베이지안 통계를 본격적으로 공부하게 된 것은 이 책의 번역을 맡은 시점보다 약간 오래되었는데, 그 계기는 기계학습 덕분이다. 기계학습을 공부하다 보니 뭔가 기초가 부족함을 절감하였는데, 그중 하나가 학교에서 배운 빈도주의 통계뿐만 아니라 베이지안 통계였다.
학부시절 옵션, 이자율 스왑 등 파생상품이나 재무관리를 배우고 관련 공식 등을 프로그래밍 코드로 옮기면서 큰 공부가 되었다. 캐머런과 마찬가지로 번역을 하는 나 역시 뭔가 배울 때는 이론과 실습 또는 실무를 같이 병행하는 것이 효과적이라고 생각한다.
이 책의 장점은 깊이 있는 베이지안 통계 이론을 전달하는 대신 현실적이고 실용적인 베이지안 통계 가이드이자 출발점 역할을 한다는 점이다. 이 책으로 시작해 베이지안 통계에 대해 더 깊은 관심과 학문적 호기심을 가진다면 이론을 다룬 책으로 넘어갈 수 있을 것이다.

 

베이지안 방법은 현대 데이터 과학자가 사용하는 여러 가지 도구 중 하나다. 베이지안 방법은 예측, 분류, 스팸 검출, 순위 매기기, 추론 그리고 다른 많은 작업에서 문제를 해결하는 데 사용된다. 하지만 베이지안 통계와 추론에 관한 글 대부분은 수학적인 세부 내용에만 초점을 맞추고, 좀 더 실용적인 엔지니어링에는 거의 관심을 두지 않는다. 내가 애디슨 웨슬리의 데이터 분석 시리즈 중 하나인 이 책을 반기는 이유도 바로 이것이다. 이 책은 실무자를 대상으로 베이지안 방법을 소개하고 있다.
이 책은 베이지안 방법을 배우려는 데이터 과학자와 프로그래머에게 훌륭한 입문서다. 이 주제에 대한 캐머런의 지식과 실무 문제를 명확한 예제와 엮어 보려는 캐머런의 노력 덕분이다. 이 책은 예제와 그림, 파이썬 코드로 가득 차 있다. 파이썬 코드는 실제 문제를 쉽게 해결할 수 있는 실마리를 제공하며 실행 가능하다. 여러분이 데이터 과학, 베이지안 방법, 또는 파이썬을 사용한 데이터 과학을 처음 접한다면 이 책은 귀중한 자료가 될 것이다.
- 폴 딕스(에디슨 웨슬리 데이터 분석 시리즈 편집자)

 

1장 베이지안 추론의 철학
__1.1 서론
____1.1.1 베이지안 심리 상태
____1.1.2 실제 베이지안 추론
____1.1.3 빈도주의자의 방법이 틀렸나?
____1.1.4 빅데이터에 대한 논의
__1.2 베이지안 프레임워크
____1.2.1 예제: 피해갈 수 없는 동전 던지기
____1.2.2 예제: 사서일까, 농부일까?
__1.3 확률분포
____1.3.1 이산적인 경우
____1.3.2 연속적인 경우
____1.3.3 그럼 λ란 무엇인가?
__1.4 컴퓨터를 사용하여 베이지안 추론하기
____1.4.1 예제: 문자 메시지 데이터에서 행동 추론하기
____1.4.2 우리의 첫 번째 망치를 소개한다: PyMC
____1.4.3 해석
____1.4.4 사후확률분포에서 얻은 표본에는 어떤 좋은 점이 있는가?
__1.5 결론
__1.6 부록
____1.6.1 두 λ가 정말 다른지 통계적으로 알 수 있나?
____1.6.2 변환점 두 개로 확장하기
__1.7 연습문제
____1.7.1 해답
__1.8 참고자료
2장 PyMC 더 알아보기
__2.1 서론
____2.1.1 부모와 자식 관계
____2.1.2 PyMC 변수
____2.1.3 모델에 관측 포함하기
____2.1.4 마지막으로
__2.2 모델링 방법
____2.2.1 같은 스토리, 다른 결말
____2.2.2 예제: 베이지안 A/B 테스트
____2.2.3 간단한 예제
____2.2.4 A와 B를 묶어 보기
____2.2.5 예제: 거짓말에 대한 알고리즘
____2.2.6 이항분포
____2.2.7 예제: 학생들의 부정행위
____2.2.8 PyMC 대안 모델
____2.2.9 더 많은 PyMC 기법들
____2.2.10 예제: 우주 왕복선 챌린저호 참사
____2.2.11 정규분포
____2.2.12 챌린저호 참사 당일에는 무슨 일이 일어났는가?
__2.3 우리의 모델이 적절한가?
____2.3.1 분리도표
__2.4 결론
__2.5 부록
__2.6 연습문제
____2.6.1 해답
__2.7 참고자료
3장 MCMC 블랙박스 열기
__3.1 베이지안 지형
____3.1.1 MCMC를 사용하여 지형 탐색하기
____3.1.2 MCMC 수행 알고리즘
____3.1.3 사후확률분포에 대한 다른 접근법
____3.1.4 예제: 혼합모델을 사용한 비지도 클러스터링
____3.1.5 사후확률분포의 표본을 섞지 마라
____3.1.6 MAP을 사용하여 수렴 개선하기
__3.2 수렴 판정하기
____3.2.1 자기상관
____3.2.2 솎아내기
____3.2.3 pymc.Matplot.plot()
__3.3 MCMC에 대한 유용한 팁
____3.3.1 지능적인 시작값
____3.3.2 사전분포
____3.3.3 통계적 계산에 대한 구전 정리
__3.4 결론
__3.5 참고자료
4장 아무도 알려주지 않는 위대한 이론
__4.1 서론
__4.2 큰 수의 법칙
____4.2.1 직관
____4.2.2 예제: 푸아송 확률변수의 수렴
____4.2.3 Var(Z)를 어떻게 계산할까?
____4.2.4 기댓값과 확률
____4.2.5 이 모든 것이 베이지안 통계와 무슨 상관이 있을까?
__4.3 작은 수의 혼란
____4.3.1 예제: 통합된 지리 데이터
____4.3.2 예제: 캐글의 미국 인구조사 우편물 회신율 챌린지
____4.3.3 예제: 레딧 코멘트 정렬하기/추려내기
____4.3.4 추리기
____4.3.5 그러나 이 방법은 실시간에서는 너무 느리다
____4.3.6 별등급 시스템 확장
__4.4 결론
__4.5 부록
____4.5.1 코멘트를 추리는 수식 유도
__4.6 연습문제
____4.6.1 해답
__4.7 참고자료
5장 오히려 큰 손해를 보시겠습니까?
__5.1 서론
__5.2 손실함수
____5.2.1 현실 세계에서의 손실함수
____5.2.2 예제: ‘The Price Is Right’ 쇼케이스 최적화
__5.3 베이지안 방법을 통한 기계학습
____5.3.1 예제: 금융예측
____5.3.2 예제: 캐글의 Observing Dark Worlds 콘테스트
____5.3.3 데이터
____5.3.4 사전확률
____5.3.5 훈련과 PyMC 구현
__5.4 결론
__5.5 참고자료
6장 우선순위 바로잡기
__6.1 서론
__6.2 주관적인 사전확률분포 vs. 객관적인 사전확률분포
____6.2.1 객관적인 사전확률분포
____6.2.2 주관적인 사전확률분포
____6.2.3 결정, 결정…
____6.2.4 경험적 베이즈
__6.3 알아두면 유용한 사전확률분포
____6.3.1 감마분포
____6.3.2 위샤트분포
____6.3.3 베타분포
__6.4 예제: 베이지안 MAB(Multi-Armed Bandits)
____6.4.1 응용
____6.4.2 솔루션 제안
____6.4.3 적합의 척도
____6.4.4 알고리즘 확장하기
__6.5 해당 분야 전문가로부터 사전확률분포 유도하기
____6.5.1 트라이얼 룰렛법
____6.5.2 예제: 주식수익률
____6.5.3 위샤트분포를 위한 팁
__6.6 켤레 사전확률분포
__6.7 제프리 사전확률분포
__6.8 N이 증가할 때 사전확률분포의 효과
__6.9 결론
__6.10 부록
____6.10.1 벌점화 회귀부모형에 대한 베이지안의 관점
____6.10.2 퇴화 사전확률분포 고르기
__6.11 참고자료
7장 베이지안 A/B 테스트
__7.1 서론
__7.2 전환율 테스트 개요
__7.3 선형손실함수 추가하기
____7.3.1 기대수익분석
____7.3.2 A/B 실험 확장하기
__7.4 전환율을 넘어서: t-검정
____7.4.1 t-검정 설정
__7.5 증분 추정하기
____7.5.1 점추정량 만들기
__7.6 결론
__7.7 참고자료
부록 A
__A.1 파이썬, PyMC
____A.1.1 아나콘다 설치하기
____A.1.2 실습 전 라이브러리 설치하기
__A.2 주피터 노트북
____A.2.1 예제 소스 다운로드
____A.2.2 주피터 노트북 실행
__A.3 Reddit 실습하기
____A.3.1 praw 설치하기
____A.3.2 Reddit 가입하기
용어집
찾아보기

베이지안 방법은 자연스러운 추론 방법이지만, 내용이 따분하고 수학적인 분석으로 가득 차 있어 독자와 거리가 멀다. 전형적인 베이지안 추론 책에서는 확률 이론이 2~3개 장 분량으로 나온 다음 베이지안 추론이 무엇인지 전개된다. 안타깝게도 대부분의 베이지안 모델은 수학적으로 다루기 어려워 독자에게는 간단하고 인위적인 예제만 제시된다.
최근 기계학습 경쟁에서 베이지안 방법이 성공을 거둔 이후 나는 이 주제를 다시 연구해보기로 마음먹었다. 수학적 지식이 있음에도 불구하고 예제를 읽고 단편적인 지식들을 합쳐 베이지안 방법을 이해하는 데 꼬박 사흘이 걸렸다. 이론을 실무로 이어주는 문헌이 충분하지 못했기 때문이다. 내가 잘못 이해했던 이유는 베이지안 수학과 확률 프로그래밍 사이가 연결되지 않아서였다. 내가 겪었던 것을 독자는 겪을 필요가 없을 거라고 생각한다. 이 책이 그 간극을 메워줄 것이다.
<프로그래머를 위한 베이지안 with 파이썬>은 컴퓨터를 이용한 이해가 최우선이고, 수학은 그 다음이라는 관점으로 설계된 베이지안 추론 입문서다. 수학에는 관심이 없지만 베이지안 방법을 실습하고 싶은 열정적인 독자라면 이 책 한 권으로도 충분히 만족스럽고, 즐거울 것이다.
확률 프로그래밍 언어로 PyMC를 선택한 이유는 두 가지다. 첫째, 이 책을 쓸 당시 PyMC 분야에는 예제를 풀고 설명해주는 중심 리소스 역할을 하는 곳이 없었다. 공식 문서는 베이지안 추론과 확률 프로그래밍에 대한 사전지식이 있다고 가정하고 만들어졌다. 이 책이 독자의 사전지식 수준과 상관없이 PyMC를 사용하는 데 도움이 되었으면 한다. 둘째, 최근 파이썬에서 이루어진 핵심적인 발전과 과학 관련 스택의 인기로 PyMC가 곧 핵심 요소가 될 것으로 보인다.
PyMC를 실행하려면 NumPy와 선택 사항으로 SciPy 라이브러리가 필요하다. 사용자의 편의를 위해 이 책의 예제는 PyMC, Numpy, SciPy, matplotlib만 있으면 된다.
이 책에서 사용한 데이터셋은 온라인에서 모두 얻을 수 있다.
● URL: https://github.com/CamDavidsonPilon/Probabilistic-Programming-and-Bayesian-
Methods-for-Hackers
● 길벗출판사 URL: https://github.com/gilbutITbook/006775

[역자 서문]
베이지안 통계를 본격적으로 공부하게 된 것은 이 책의 번역을 맡은 시점보다 약간 오래되었는데, 그 계기는 기계학습 덕분이다. 기계학습을 공부하다 보니 뭔가 기초가 부족함을 절감하였는데, 그중 하나가 학교에서 배운 빈도주의 통계뿐만 아니라 베이지안 통계였다.
학부시절 옵션, 이자율 스왑 등 파생상품이나 재무관리를 배우고 관련 공식 등을 프로그래밍 코드로 옮기면서 큰 공부가 되었다. 캐머런과 마찬가지로 번역을 하는 나 역시 뭔가 배울 때는 이론과 실습 또는 실무를 같이 병행하는 것이 효과적이라고 생각한다.
이 책의 장점은 깊이 있는 베이지안 통계 이론을 전달하는 대신 현실적이고 실용적인 베이지안 통계 가이드이자 출발점 역할을 한다는 점이다. 이 책으로 시작해 베이지안 통계에 대해 더 깊은 관심과 학문적 호기심을 가진다면 이론을 다룬 책으로 넘어갈 수 있을 것이다.