이 책은 인공지능이 올바른 데이터를 입력 받아 의미 있는 결과를 도출하는 과정에서 필수적으로 거쳐야 할 데이터 전처리에 관한 ‘입문서’이다. 정형 데이터뿐만 아니라 이미지, 텍스트 데이터와 같은 비정형 데이터를 다루는 방법을 제공한다. 데이터를 처리하고 분석하기 위해 가장 많이 사용되는 파이썬 언어를 사용하고, NumPy, Pandas 등 라이브러리를 통해 어떠한 방법으로 데이터를 시각화하고, 의미를 도출할 수 있는지를 자세하게 배울 수 있다. 실습 위주의 책이며, 파이썬을 조금만 알아도 누구나 쉽게 따라해보면서 데이터 전처리의 개념과 방법 등에 관한 기초지식을 충분히 습득할 수 있다. 이것을 기초로 스스로 데이터 전처리 전문가가 되는 길을 찾을 수 있을 것이다.

 

주요 내용

\"Garbage In, Garbage Out\"
전통적인 프로그램처럼 인공지능 또한 데이터가 입력되어 데이터가 출력되는 형태입니다. 프로그램도 데이터를 자료형의 형태로 제대로 입력해주어야 원하는 출력을 얻을 수 있듯이, 인공지능 또한 데이터를 전처리라는 과정을 통해 올바른 형태로 입력해주어야 학습된 결과가 제대로 출력되는 것은 모두 같은 원리입니다. 즉, 올바르지 못한 데이터를 제공한다면, 원하는 결과물을 절대 얻을 수 없습니다. 그만큼 데이터를 어떻게 다루느냐가 매우 중요합니다.

이 책에서는 다양한 정형 데이터와 비정형 데이터를 대상으로 기본적인 전처리의 노하우를 배우고, 파이썬을 사용해 구현하는 방법을 소개했습니다. 전처리는 과제마다 별도로 설계, 구현해 나가기 때문에, 그 전부를 소개하기는 어렵습니다. 그러나, 이 책에서 설명한 내용은 실무에서도 문제 없이 사용할 수 있습니다.

\"각 장의 연습문제는 반드시 풀어보세요\"
전처리의 실력을 높이기 위해서는 반복해서 문제를 풀어보는 것이 가장 빠른 지름길입니다. 만약, 잘 안 풀리는 문제가 있어도 끈기 있게 도전해서 풀 수 있도록 학습하시길 바랍니다. 고민하고 고민하며 기어코 해결해내는 것만이 실력을 높이는 왕도입니다.

\"데이터 분석을 주업무로 해나가실 분이라면\"
머신러닝(딥러닝을 포함해서)의 알고리즘을 사용해 분석 모델을 작성하는 작업은, 현재도 급속하게 자동화가 진행되고 있습니다. 그러나, 모델을 작성하기 위해 투입하는 특징량은, 아직 당분간은 사람의 손을 빌리지 않으면 전처리하기 어려운 상황이 계속될 것 같습니다. 그렇기 때문에, 앞으로 데이터 분석을 주업무로 해 나가실 분들은, 전처리의 실력을 계속 갈고 닦아서 자신의 가치를 높이기를 기원합니다. 그리고 이 책이 거기에 조금이라도 도움이 된다면 행복하겠습니다.

[주요 특징]
바로바로 실습 가능한 실습문제 160개 수록
스스로 풀어보는 응용문제 35개와 해답 제공
저자에게 질문하며 함께 공부하는 백견불여일타 카페 운영 (caf?.naver.com/codefirst)

지은이의 글
옮긴이의 글
감수자의 글
다운로드 및 개발환경 안내
일러두기

1장 데이터 분석, 활용을 시작하기 전에
1 데이터 기반 시대로
2 데이터 분석 프로젝트에 필요한 요소
3 데이터 분석 인재에게 필요한 스킬
컬럼 | 보충지식 1 BI로 무엇을 할 수 있나?
컬럼 | 보충지식 2 데이터처리가 빠른 툴은?

2장 데이터 분석의 프로세스와 환경
1 들어가며
2 비즈니스 이해
3 데이터 이해
4 데이터 준비
5 모델 작성
6 평가
7 배포/공유
8 데이터 분석 환경의 선택
9 주피터 노트북 사용 방법

3장 정형 데이터의 전처리 (1)
1 데이터 이해
2 데이터 준비
3 모델 작성
4 다시 데이터 준비로
5 다시 한번 모델 작성으로
컬럼 | 보충지식 1 데이터 결합
컬럼 | 보충지식 2 오버 샘플링
컬럼 | 보충지식 3 분할의 순도
[함께 해봐요 3-1] Pandas를 사용한 파일 업로드
[함께 해봐요 3-2] 데이터의 행수와 열수 확인
[함께 해봐요 3-3] 데이터형 확인
[함께 해봐요 3-4] 결손값의 포함 유무 확인
[함께 해봐요 3-5] 결손값의 개수 파악
[함께 해봐요 3-6] 데이터형이 수치인 항목의 통계량 계산
[함께 해봐요 3-7] age의 히스토그램 작성
[함께 해봐요 3-8] age와 balance 산포도 작성과 항목 관련성 확인
[함께 해봐요 3-9] 문자열 항목 중 job의 원 그래프 작성 (1)
[함께 해봐요 3-10] 문자열 항목 중 job의 원 그래프 작성 (2)
[함께 해봐요 3-11] y의 원 그래프 작성 및 데이터 분포 확인
[함께 해봐요 3-12] 목적변수 y에 대한 데이터 분포 확인
[함께 해봐요 3-13] 전처리를 위한 코드 입력
[함께 해봐요 3-14] 각 항목의 데이터형 재확인
[함께 해봐요 3-15] 결손값 제외
[함께 해봐요 3-16] 결손값 보완
[함께 해봐요 3-17] 특이값(이상치) 제외
[함께 해봐요 3-18] 값 두 개를 가지는 데이터 변환
[함께 해봐요 3-19] 다수의 값을 가지는 데이터 변환
[함께 해봐요 3-20] 분석 데이터 세트로 완성
[함께 해봐요 3-21] 더미 변수화한 데이터 결합
[함께 해봐요 3-22] CSV 파일로 결과 출력
[함께 해봐요 3-23] Pandas를 사용한 결합의 이미지 표현
[함께 해봐요 3-24] 데이터를 로드하는 코드 작성
[함께 해봐요 3-25] imbalanced-learn 패키지 설치 유무 확인
[함께 해봐요 3-26] 주티퍼랩에 설치된 패키지 확인
[함께 해봐요 3-27] imbalanced-learn 패키지 설치
[함께 해봐요 3-28] 불균형 데이터 세트에 대한 언더 샘플링
[함께 해봐요 3-29] 오버 샘플링 구현
[함께 해봐요 3-30] 결정 트리 알고리즘을 사용한 모델 검증
[함께 해봐요 3-31] 재현율과 적합도 확인
[함께 해봐요 3-32] 파라미터와 기본값 확인
[함께 해봐요 3-33] 그리드 서치를 사용한 모델의 성능 개선
[함께 해봐요 3-34] 가장 높은 성능일 때의 모델에 대한 파라미터 조합 확인
[함께 해봐요 3-35] 모델 완성 및 영향력 높은 변수 확인
[함께 해봐요 3-36] job 통합 및 새로운 특징량 생성
[함께 해봐요 3-37] month 통합 및 새로운 특징량 생성
[함께 해봐요 3-38] day 통합 및 새로운 특징량 생성
[함께 해봐요 3-39] duration 통합 및 새로운 특징량 생성
함께 해봐요 3-40] previous 통합 및 새로운 특징량 생성
[함께 해봐요 3-41] 더미변수를 만들기 위한 목록 삽입
[함께 해봐요 3-42] get_dummies를 사용한 더미변수 생성
[함께 해봐요 3-43] CSV 파일 내용 변경
[함께 해봐요 3-44] feature_selection을 통한 변수 사용 유무 확인

4장 정형 데이터의 전처리 (2)
1 고객의 특성 이해
2 고객의 그룹화
3 잠재적인 요구 추출
[함께 해봐요 4-1] 분석 데이터를 읽기 위한 코드 작성
[함께 해봐요 4-2] 각 항목의 데이터형 재확인
[함께 해봐요 4-3] 범위변환 테스트
[함께 해봐요 4-4] Z변환 테스트
[함께 해봐요 4-5] 각 변수의 평균과 표준편차 값 확인
[함께 해봐요 4-6] 계층형 클러스터링을 이용한 그룹 분할
[함께 해봐요 4-7] 고객별 그룹 확인
[함께 해봐요 4-8] k-Means법을 이용한 그룹 분할
[함께 해봐요 4-9] 클러스터 ID별 데이터 분포 확인
[함께 해봐요 4-10] 클러스터 ID별 데이터 세트와의 결합
[함께 해봐요 4-11] 그룹별 데이터 건수 확인
[함께 해봐요 4-12] 각 그룹의 통계량 계산 및 성질 파악
[함께 해봐요 4-13] PCA를 이용한 신규변수 작성
[함께 해봐요 4-14] 목적변수별 분포 확인
[함께 해봐요 4-15] 목적변수별 산포도 확인

5장 이미지 데이터의 전처리
1 데이터 이해
2 기계학습을 위한 데이터 준비
3 딥러닝을 위한 데이터 준비
컬럼 | 보충지식 1 중간층의 추출
[함께 해봐요 5-1] OpenCV 설치
[함께 해봐요 5-2] swiss-army-ant.jpg 읽기
[함께 해봐요 5-3] 배열에 저장된 픽셀값 확인
[함께 해봐요 5-4] 배열 크기 확인
[함께 해봐요 5-5] 컬러 이미지의 픽셀값 확인
[함께 해봐요 5-6] 그레이스케일 이미지로 변환
[함께 해봐요 5-7] 그레이스케일 이미지의 픽셀값 확인
[함께 해봐요 5-8] 이진화 이미지로 변환
[함께 해봐요 5-9] 이진화 이미지의 픽셀값 확인
[함께 해봐요 5-10] 데이터 프레임 형식으로 확인하는 픽셀값
[함께 해봐요 5-11] 신규 노트북 작성
[함께 해봐요 5-12] 설명변수와 목적변수의 세트 작성 (1)
[함께 해봐요 5-13] 설명변수와 목적변수의 세트 작성 (2)
[함께 해봐요 5-14] 이진화 이미지의 침식 처리
[함께 해봐요 5-15] 이진화 이미지의 팽창 처리
[함께 해봐요 5-16] 이진화 이미지의 오프닝 처리
[함께 해봐요 5-17] 이진화 이미지의 클로징 처리
[함께 해봐요 5-18] 그레이스케일 이미지의 히스토그램 작성
[함께 해봐요 5-19] 그레이스케일 이미지의 pixels_df에 대한 t-SNE 적용
[함께 해봐요 5-20] 목적변수별 데이터 분포 확인
[함께 해봐요 5-21] 그레이스케일 이미지의 설명변수와 목적변수의 세트 작성
[함께 해봐요 5-22] 데이터 세트의 분할
[함께 해봐요 5-23] 이미지 반전을 통한 이미지 수 증가
[함께 해봐요 5-24] 블러 처리를 통한 이미지 수 증가
[함께 해봐요 5-25] 명도 변경을 통한 이미지 수 증가
[함께 해봐요 5-26] 중간층 추출 (1)
[함께 해봐요 5-27] 중간층 추출 (2)

6장 시계열 데이터의 전처리
1 데이터 이해
2 데이터 준비
3 훈련 데이터 작성
[함께 해봐요 6-1] 분석 데이터 세트 로드
[함께 해봐요 6-2] 데이터의 행수와 열수 확인
[함께 해봐요 6-3] 데이터형 확인
[함께 해봐요 6-4] datetime형으로 데이터 변환
[함께 해봐요 6-5] 한 행 전과의 시간차(분) 계산
[함께 해봐요 6-6] 경과시간(분) 계산 (1)
[함께 해봐요 6-7] 결손값 개수 확인
[함께 해봐요 6-8] 각 항목의 통계량 계산
[함께 해봐요 6-9] Matplotlib을 사용한 데이터 시각화
[함께 해봐요 6-10] 전처리 대상의 데이터 읽기
[함께 해봐요 6-11] 결손값 표시
[함께 해봐요 6-12] NaN을 통한 결손값 보완
[함께 해봐요 6-13] 전후의 값 평균치로 보완하는 결손값
[함께 해봐요 6-14] 경과시간(분) 계산 (2)
[함께 해봐요 6-15] 6시간 단위로 만들기 위한 평균치 계산
[함께 해봐요 6-16] 두 개의 데이터 세트 결합
[함께 해봐요 6-17] event.csv 파일 읽기
[함께 해봐요 6-18] 데이터 집약 및 시간 축 작성 (1)
[함께 해봐요 6-19] 데이터 집약 및 시간 축 작성 (2)
[함께 해봐요 6-20] 특징량과 목적변수 결합
[함께 해봐요 6-21] 슬라이드 창을 사용한 특징량 추출
[함께 해봐요 6-22] 기계학습의 알고리즘 형태로 특징량 변형
[함께 해봐요 6-23] 특징량 세트와 목적변수 결합
[함께 해봐요 6-24] 새로운 노트북 작성 및 코드 입력
[함께 해봐요 6-25] 데이터 시각화
[함께 해봐요 6-26] 데이터 분할
[함께 해봐요 6-27] 데이터 정규화
[함께 해봐요 6-28] 훈련 데이터의 부분시계열 작성
[함께 해봐요 6-29] 부분시계열의 파형 거리(유사도) 측정
[함께 해봐요 6-30] 케라스 실행
[함께 해봐요 6-31] 오토 인코더 네트워크 작성
[함께 해봐요 6-32] 학습 조건 설정 및 학습 실행
[함께 해봐요 6-33] 오차의 수렴 상태 확인
[함께 해봐요 6-34] 출력값 추이 비교
[함께 해봐요 6-35] 이상 스코어 계산

7장 자연어 데이터의 전처리
1 데이터 이해
2 기계학습을 위한 데이터 준비
3 딥러닝을 위한 데이터 준비
4 주제 추출을 위한 데이터 준비
컬럼 | 보충지식 1 한글 형태소 분석 환경의 설정
컬럼 | 보충지식 2 2-gram 에지 리스트
[함께 해봐요 7-1] 업로드한 기사를 대상으로 하는 형태소 분석
[함께 해봐요 7-2] konlpy 설치 (1)
[함께 해봐요 7-3] Okt를 통한 형태소 분석
[함께 해봐요 7-4] 정규표현식을 사용한 URL 제거
[함께 해봐요 7-5] 명사인 단어 추출
[함께 해봐요 7-6] konlpy 설치 (2)
[함께 해봐요 7-7] 모든 기사에 대한 형태소 분석 작업 진행
[함께 해봐요 7-8] docterm에 저장한 단어 확인
[함께 해봐요 7-9] 첫 번째 기사의 단어 추출
[함께 해봐요 7-10] label에 저장된 기사 인덱스 확인
[함께 해봐요 7-11] 단어 문서 행렬 작성
[함께 해봐요 7-12] 작성한 단어 문서 행렬의 크기 확인
[함께 해봐요 7-13] 고빈도어와 저빈도어 삭제
[함께 해봐요 7-14] TF-IDF치를 계산한 단어 문서 행렬 작성
[함께 해봐요 7-15] 단어 문서 행렬의 크기 확인
[함께 해봐요 7-16] konlpy 설치 (3)
[함께 해봐요 7-17] 전체 기사에 대한 처리 실행
[함께 해봐요 7-18] 작성한 데이터 세트 크기와 값 확인
[함께 해봐요 7-19] 내림순으로 단어 정렬
[함께 해봐요 7-20] 일련번호를 부여한 사전 작성
[함께 해봐요 7-21] 리스트 길이 정리
[함께 해봐요 7-22] 부족한 패키지 설치
[함께 해봐요 7-23] 부족한 패키지 실행 (1)
[함께 해봐요 7-24] 부족한 패키지 실행 (2)
[함께 해봐요 7-25] 단어 문서 행렬과 label열 결합
[함께 해봐요 7-26] label이 0인 문서의 유사도 계산
[함께 해봐요 7-27] 행렬 형식에서 리스트 형식으로 변환
[함께 해봐요 7-28] 동시 출현어 에지 리스트 작성
[함께 해봐요 7-29] 문장에서 2-gram 모델 작성
[함께 해봐요 7-30] 기사 데이터에서 2-gram 모델 작성
[함께 해봐요 7-31] 단어에 ID 부여 (1)
[함께 해봐요 7-32] 단어에 ID 부여 (2)
[함께 해봐요 7-33] 띄어쓰기한 단어에 ID 부여
[함께 해봐요 7-34] 2-gram 모델 작성
[함께 해봐요 7-35] 리스트 bigram에 저장

부록
1 주피터랩 로컬 환경 구축
2 이미지 인식 모델 작성
3 기사 분류 모델 작성
4 기사 주제 추출
5 다양한 시각화 툴
[함께 해봐요 A1-1] 주피터랩의 홈 디렉토리 변경
[함께 해봐요 A1-2] 변경 전 소스코드
[함께 해봐요 A1-3] 변경 후 소스코드
[함께 해봐요 A2-1] 학습에 사용하는 네트워크 작성
[함께 해봐요 A2-2] 학습 조건 설정 및 학습 실행
[함께 해봐요 A2-3] 오차 이력 그래프 작성 (1)
[함께 해봐요 A2-4] 정확도 이력 그래프 작성 (1)
[함께 해봐요 A2-5] 학습에 사용하는 네트워크 작성
[함께 해봐요 A2-6] 학습 조건 설정 및 학습 실행
[함께 해봐요 A2-7] 오차 이력 그래프 작성 (2)
[함께 해봐요 A2-8] 정확도 이력 그래프 작성 (2)
[함께 해봐요 A3-1] 명사인 단어만 추출한 데이터 세트 작성
[함께 해봐요 A3-2] [함께 해봐요 7-21] 수정 및 추가 (1)
[함께 해봐요 A3-3] [함께 해봐요 7-21] 수정 및 추가 (2)
[함께 해봐요 A3-4] 학습 조건 설정 및 실행
[함께 해봐요 A3-5] 오차 이력 그래프 작성 (3)
[함께 해봐요 A3-6] 정확도 이력 그래프 작성 (3)
[함께 해봐요 A4-1] 코드 추가 및 실행
[함께 해봐요 A4-2] 네트워크 그래프 작성
[함께 해봐요 A4-3] 작성한 네트워크에 대한 클러스트 계수와 매개 중심성 계산
[함께 해봐요 A4-4] 커뮤니티 추출
[함께 해봐요 A5-1] 워드 클라우드 설치
[함께 해봐요 A5-2] [함께 해봐요 A3-1] 수정 및 실행
[함께 해봐요 A5-3] 5회 이상 출현 단어 추출

3장_연습문제 해답 289
5장_연습문제 해답 298
6장_연습문제 해답 306
7장_연습문제 해답 313

찾아보기