“데이터를 지배하는 자가 앞으로의 IT 패권을 가져갈 가능성이 높다.”

알리바바의 마윈 회장의 말이다. 현대는 그야말로 데이터의 시대다. 따라서 데이터 과학이 중요해진 이유도 자명하다. 다양한 분야에서 다양한 형태로 많은 양의 데이터가 생성되고 저장되고 있다. 이러한 데이터들을 처리하고 해석하기 위해서는 데이터들을 추출하고 가공하는 코딩 능력과 의미 있는 결론을 끌어낼 수 있는 통계적 능력이 필요하다. ‘프로그래머보다는 통계를 잘하고, 통계학자보다는 코딩을 잘하는’ 데이터 과학자가 필요한 이유일 것이다.

 

가장 빠르게, 가장 제대로 배우는 데이터 과학 입문서!
이 책은 ‘실무’에 초점을 맞춘 데이터 사이언스 ‘입문서’다. 다양한 배경을 가진 독자들이 가장 짧은 시간에 기본적인 데이터 사이언스 분석을 시작할 수 있도록 하였다. '가장 짧은 시간'에 배워야 하므로 필수적이지 않은 내용은 과감히 생략하고, 설명은 최대한 간략히 하려고 노력하였다. 또한, ‘다양한 배경’을 가진 독자들을 위해 통계나 컴퓨터 전공 지식이 없더라도 읽을 수 있도록 하였으나, 통계의 핵심인 기초통계와 선형모형(회귀분석과 분산분석 포함)은 반드시 제대로 배울 ...
가장 빠르게, 가장 제대로 배우는 데이터 과학 입문서!
이 책은 ‘실무’에 초점을 맞춘 데이터 사이언스 ‘입문서’다. 다양한 배경을 가진 독자들이 가장 짧은 시간에 기본적인 데이터 사이언스 분석을 시작할 수 있도록 하였다. '가장 짧은 시간'에 배워야 하므로 필수적이지 않은 내용은 과감히 생략하고, 설명은 최대한 간략히 하려고 노력하였다. 또한, ‘다양한 배경’을 가진 독자들을 위해 통계나 컴퓨터 전공 지식이 없더라도 읽을 수 있도록 하였으나, 통계의 핵심인 기초통계와 선형모형(회귀분석과 분산분석 포함)은 반드시 제대로 배울 것을 권장한다. ‘기본적인’ 데이터 분석은 텍스트 자료, 그래프 모형, 시계열 분석, 공간자료 분석 등 개별적인 자료 형태보다는 다양한 분석에 공통적으로 적용되는 방법들을 다룬다.
이 책은 대학이나 학원의 강의 교재 혹은 자습서로 사용할 수도 있다. 강의 교재로는 학부 및 대학원 수준의 데이터 과학, 통계학, 자료분석 등의 강의에 주교재 혹은 부교재로 사용할 수 있다. 몇 주간의 단기 과정에서 일부 장만을 다루어도 좋다. R과 유닉스 코드 예를 따라 하고, 각 장 끝의 연습문제를 반드시 풀어 보도록 하자.
이 책의 대상 독자
ㆍ‘데이터 사이언스 입문’ 수업을 듣는 학원생, 학부생 및 대학원생
ㆍ데이터 분석 업무를 하고자 하는 관련 분야 엔지니어
ㆍ데이터 과학 팀을 구축하고자 하는 관련 분야 매니저

 

권재명 박사의 《따라 하며 배우는 데이터 과학》은 해들리 위컴(Hadley Wickham)의 ‘tidyverse’ 철학에 기반을 둔 데이터 가공에 관한 충실한 소개와 더불어 라쏘와 랜덤 포레스트와 같은 최신 머신러닝 기법, 그리고 기존의 R 서적에서 다루지 않은 유용한 R 관련 지식을 많이 소개하고 있다. 특히, ‘데이터 분석 환경 구성하기’, ‘코딩 스타일’과 ‘R 마크다운’에 관한 내용은 R을 처음 배
우는 입문자와 현장 실무자들이 반드시 알아야 할 내용으로, 학계와 실리콘밸리를 오가면서 쌓은 저자의 경험이 고스란히 담긴 부분이며, 마지막 ‘실리콘밸리에서 데이터 과학자 되기’에 관한 내용은 향후 차세대 데이터 과학자를 꿈꾸는 이들에게 훌륭한 지침이 되리라 생각한다. 이 책이 앞으로 데이터 과학자를 꿈꾸는 모든 이들의 필독서가 될 것을 믿어 의심치 않는다.
― 장원철(서울대학교 통계학과 교수)

위의 예에서 살펴보았듯이 데이터 과학자가 되기 위해서는 통계 능력, 컴퓨터 도구 활용 능력, 실무 지식이 필요함을 알 수 있다. 많은 사람이 이를 벤다이어그램으로 표현하였는데, 몇몇 예시를 함께 살펴보도록 하자(그림 1-4, 1-5, 1-6).
_11쪽

위에서 간략히 살펴보았듯이 베이스 R은 데이터 가공을 위한 강력한 기능을 제공한다. 하지만 필자는 데이터 가공 도구로 베이스 R보다는 dplyr 패키지를 가능한 한 많이 사용할 것을 강력하게 추천한다. dplyr(“디플라이어”라고 읽는다)는 데이터를 빨리 쉽게 가공할 수 있도록 도와주는 R 패키지다[Wickham & Francois (2015)]. dplyr는 베이스 R 데이터 가공에 비해 다음과 같은 차이점과 장점이 있다.
_51쪽

데이터 과학의 통계 분야 인터뷰에서 많이 물어보는 질문 중 하나가 P-값을 정의하라는 것과 다양한 가설검정 상황에서 비전문들을 이해하기 쉽게 P-값을 설명하라는 것이다. 즉, 데이터 과학자는 P-값을 정확히 이해하고 P-값의 의미를 ‘지식의 저주’를 피하여 비전문가들에게 전달해야 한다.
_113쪽

앞장에서 살펴보았듯이, 설명변수 중 범주형 변수가 있을 경우, glm( ) 함수는 자동으로 모형행렬을 생성해주었다. 이와 달리, glmnet( ) 함수는 모형행렬을 수동으로 만들어주어야 한다. 앞장에서 살펴본 model.matrix( ) 함수를 사용하면 된다. 절편항은 필요하지 않으므로 ‘-1’을 모형식(formula)에 지정하도록 한다.
_199쪽

분석 코드와 보고서의 괴리는 오랫 동안 데이터 분석가를 괴롭힌 문제 중 하나다. 분석 코드를 통하여 계산과 시각화를 한 후, 그 계산 결과와 차트를 보고서와 슬라이드에 붙여넣는 것이 전통적인 작업 방식이었다. 그러나 시간이 오래 걸리고, 노동 집약적일 뿐만 아니라 항상 분석 코드와 분석 문서를 함께 관리해야 하고, 분석이 바뀔 때마다 보고서도 수동으로 업데이트해야 하는 불편함과 오류의 위험성이 있었다.
_279쪽

1장 데이터 과학이란? _ 1
1.1 데이터 과학의 정의 1
1.2 데이터 과학 프로세스 8
1.3 데이터 과학자가 갖춰야 할 능력 11
2장 데이터 분석 환경 구성하기 _ 15
2.1 데이터 과학의 연장, 컴퓨터, 기타 도구들 15
2.2 R 설치와 팁 18
2.3 R 스튜디오 설치와 팁 18
2.4 R 라이브러리 설치 20
2.5 파이썬 24
2.6 서브라임 텍스트 26
2.7 깃 버전 관리 소프트웨어와 깃허브 26
2.8 유닉스 활용하기 28
2.9 구글 독스/스프레드시트/슬라이드 31
3장 데이터 취득과 데이터 가공: SQL과 dplyr _ 33
3.1 데이터 취득과 데이터 가공이란 무엇이며, 왜 중요한가? 33
3.2 데이터 취득 34
3.3 데이터 출력 44
3.4 데이터 가공 44
3.5 데이터 가공을 위한 도구 46
3.6 R의 dplyr 패키지 51
4장 데이터 시각화 I: ggplot2 _ 63
4.1 시각화의 중요성 63
4.2 베이스 R 그래픽과 ggplot2 69
4.3 변수의 종류에 따른 시각화 기법 74
4.4 시각화 과정의 몇 가지 유용한 원칙 87
5장 코딩 스타일 _ 91
5.1 스타일 가이드와 협업 91
5.2 R 코딩 스타일 94
5.3 파이썬 스타일 가이드와 도구 98
5.4 SQL 코딩 스타일 100
5.5 코딩 스타일 이외의 베스트 프랙티스 100
6반 통계의 기본 개념 복습 _ 102
6.1 통계, 올바른 분석을 위한 틀 102
6.2 첫째, 통계학은 숨겨진 진실을 추구한다 105
6.3 둘째, 통계학은 불확실성을 인정한다 107
6.4 셋째, 통계학은 관측된 데이터가 가능한 여러 값 중 하나라고 생각한다 107
6.5 스튜던트 t-분포와 t-검정이란? 111
6.6 P-값을 이해하면 통계가 보인다 113
6.7 P-값의 오해와 남용 114
6.8 신뢰구간의 의미 119
6.9 넷째, 통계학은 어렵다 122
6.10 모집단, 모수, 표본 123
6.11 모수추정의 정확도는 sqrt(n)에 비례한다 126
6.12 모든 모형은 틀리지만 일부는 쓸모가 있다 128
6.13 이 장을 마치며 129
7장 데이터 종류에 따른 분석 기법 _ 131
7.1 데이터형, 분석 기법, R 함수 131
7.2 모든 데이터에 행해야 할 분석 133
7.3 수량형 변수의 분석 134
7.4 성공-실패값 범주형 변수의 분석 138
7.5 설명변수와 반응변수 142
7.6 수량형 X, 수량형 Y 의 분석 142
7.7 범주형 x , 수량형 y 154
7.8 수량형 x, 범주형 y (성공-실패) 159
7.9 더 복잡한 데이터의 분석, 머신러닝, 데이터 마이닝 167
8장 빅데이터 분류분석 I: 기본 개념과 로지스틱 모형 _ 170
8.1 분류분석이란? 170
8.2 환경 준비 179
8.3 분류분석 예제: 중산층 여부 예측하기 180
8.4 훈련, 검증, 테스트세트의 구분 185
8.5 시각화 186
8.6 로지스틱 회귀분석 188
8.7 이 장을 마치며 195
9장 빅데이터 분류분석 II: 라쏘와 랜덤 포레스트 _ 197
9.1 glmnet 함수를 통한 라쏘 모형, 능형회귀, 변수 선택 197
9.2 나무 모형 205
9.3 랜덤 포레스트 209
9.4 부스팅 214
9.5 모형 비교, 최종 모형 선택, 일반화 능력 평가 218
9.6 우리가 다루지 않은 것들 220
10장 빅데이터 분류분석 III: 암 예측 _ 225
10.1 위스콘신 유방암 데이터 225
10.2 환경 준비와 기초 분석 226
10.3 데이터의 시각화 229
10.4 훈련, 검증, 테스트세트의 구분 231
10.5 로지스틱 회귀분석 232
10.6 라쏘 모형 적합 234
10.7 나무 모형 236
10.8 랜덤 포레스트 238
10.9 부스팅 239
10.10 최종 모형 선택과 테스트세트 오차 계산 240
11장 빅데이터 분류분석 IV: 스팸 메일 예측 _ 244
11.1 스팸 메일 데이터 244
11.2 환경 준비와 기초 분석 247
11.3 데이터의 시각화 250
11.4 훈련, 검증, 테스트세트의 구분 254
11.5 로지스틱 회귀분석 255
11.6 라쏘 모형 적합 258
11.7 나무 모형 260
11.8 랜덤 포레스트 262
11.9 부스팅 263
11.10 최종 모형 선택과 테스트세트 오차 계산 264
12장 분석 결과 정리와 공유, R 마크다운 _ 268
12.1 의미 있는 분석과 시각화 268
12.2 분석의 타당성 271
12.3 보고서 작성과 구성 272
12.4 분석 결과의 공유 275
12.5 R 마크다운 278
13장 빅데이터 회귀분석 I: 부동산 가격 예측 _ 281
13.1 회귀분석이란? 281
13.2 회귀분석 예제: 부동산 가격 예측 283
13.3 환경 준비와 기초 분석 284
13.4 훈련, 검증, 테스트 세트의 구분 286
13.5 선형회귀 모형 286
13.6 라쏘 모형 적합 291
13.7 나무 모형 293
13.8 랜덤 포레스트 295
13.9 부스팅 296
13.10 최종 모형 선택과 테스트세트 오차 계산 297
14장 빅데이터 회귀분석 II: 와인 품질 예측 _ 300
14.1 와인 품질 데이터 소개 300
14.2 환경 준비와 기초 분석 301
14.3 데이터의 시각화 302
14.4 훈련, 검증, 테스트세트의 구분 304
14.5 선형회귀 모형 305
14.6 라쏘 모형 적합 309
14.7 나무 모형 311
14.8 랜덤 포레스트 313
14.9 부스팅 314
14.10 최종 모형 선택과 테스트세트 오차 계산 315
15장 데이터 시각화 II: 단어 구름을 사용한 텍스트 데이터의 시각화 _ 318
15.1 제퍼디! 질문 데이터 318
15.2 자연어 처리와 텍스트 마이닝 환경 준비 320
15.3 단어 구름 그리기 320
15.4 자연어 처리 예 323
15.5 고급 텍스트 마이닝을 향하여 323
15.6 한국어 자연어 처리 324
16장 실리콘밸리에서 데이터 과학자 되기 _ 326
16.1 데이터 과학자에게 요구되는 자질들 326
16.2 데이터 과학자 고용 과정 327
16.3 인터뷰 준비 329
16.4 행동질문과 상황질문 330
16.5 취업의 패러독스 332
찾아보기 334