데이터를 분석해 현재를 알고, 머신 러닝을 이용해 미래를 예측한다!

데이터를 분석하자! 현재를 알 수 있다.

하둡을 중심으로 한 대규모 분산 데이터 처리 환경을 간단히 소개하면서 데이터를 분석하는 데 어떤 기술이 필요한지 알아본다. 또한, 데이터를 수집하는 플루언티드, 변환·저장·검색하는 노리크라와 엘라스틱서치, 시각화하고 분석하는 키바나를 소개하고, 직접 트위터 스트리밍 API에 연계해 실시간으로 데이터를 집계하는 시스템을 만들어본다.



머신 러닝 알고리즘과 딥러닝 이론을 배우자! 미래를 예측할 수 있다.

수집하고 저장하고 분석한 데이터로부터 미래를 예측하는 기술인 머신 러닝과 딥러닝을 소개한다. 머신 러닝 알고리즘(나이브 베이즈, 단순 퍼셉트론, 서포트 벡터 머신, 회귀 알고리즘, 클러스터링)을 배우고, 파이썬으로 다음 데이터셋을 처리해본다.



· IRIS 데이터 붓꽃 네 종류의 계측 데이터로부터 품종을 예측해본다

· digits 데이터 손으로 쓴 숫자 이미지를 문자로 인식시켜 숫자를 맞춰 본다

· Boston 데이터 주택 가격을 예측해보고 정확도를 더 높이는 방법을 알아 본다



또한, 딥러닝 이론(다항 로지스틱 회귀, 다층 신경망, 합성곱 신경망, 재귀형 신경망)은 머신 러닝과 어떤 차이가 있는지 알아보고, 텐서플로로 실행해본다.

이석곤 (엔컴 서버 개발자)  : 인공지능, 머신 러닝, 딥러닝의 엑기스만 모아 한 권으로 엮은 책입니다. 주요 머신 러닝 알고리즘, 머신 러닝으로 처리한 데이터를 정제하는 방법, 모델 평가와 매개변수 튜닝, 딥러닝 심화학습 등을 배울 수 있었습니다.

정윤식 (동국대학교 산업시스템공학)  : 3장에서는 플루언티드 환경을 직접 구축해 본다는 데 큰 의의가 있었습니다. 4, 5장은 마치 scikit-learn과 같은 머신 러닝 라이브러리를 직접 작성하는 느낌을 받을 정도로 훌륭하게 작성된 코드를 확인할 수 있습니다.

권성환 (SDS ACT)  : 딥러닝으로 접근하다 보면 전체적인 서비스 구성에 대해 구체적으로 생각해 보기 어려운데, 이 책의 실습은 실제 딥러닝이 서비스화될 경우, 어떤 테크 스택을 가져가면 좋을지 구체적인 예로 보여주어서 좋았습니다.

지은이의 말
옮긴이의 말
감수자의 말
이 책의 활용법
실습 후기

1장 인공지능과 머신 러닝
__1.1 인공지능이란?
____1.1.1 현재의 요괴 ‘인공지능’
__1.2 BI는 AI 꿈을 꾸는가?
____1.2.1 비즈니스를 뒷받침하는 AI와 머신 러닝 엔지니어
__1.3 지금의 인공지능\u003d지능?
____1.3.1 인공지능이 데이터 분석을 하는 날
__1.4 마무리

2장 데이터 분석 처리를 위한 기반 기술
__2.1 하둡: 대규모 데이터를 처리하는 인프라
____2.1.1 하둡이란?
____2.1.2 맵리듀스 처리
__2.2 하이브: 하둡에서 더욱 쉽게 데이터를 처리
____2.2.1 하이브란?
__2.3 프레스토: 고속 데이터 처리
____2.3.1 프레스토란?
__2.4 스파크: 더 빠른 분산 처리 환경
____2.4.1 스파크란?
__2.5 하둡과 관련된 기타 미들웨어
____2.5.1 하둡 관련 기타 미들웨어
__2.6 다양한 하둡 디스트리뷰션
____2.6.1 하둡 디스트리뷰션이란?
__2.7 BI 도구: 처리한 데이터를 시각화
____2.7.1 BI 도구란?
____2.7.2 펜타호
____2.7.3 제플린
__2.8 마무리

3장 실시간으로 데이터를 분석한다: 데이터에서 현재를 알 수 있는 기술
__3.1 플루언티드
____3.1.1 데이터를 실시간으로 수집한다
__3.2 노리크라
____3.2.1 데이터를 실시간으로 집계한다
__3.3 사례: 트위터 데이터에서 사람 이름을 실시간으로 집계
____3.3.1 실시간으로 사람 이름을 집계해 보자
____3.3.2 루비 환경 설정
____3.3.3 플루언티드 설치
____3.3.4 트위터 스트리밍 API와의 연계
____3.3.5 플루언티드 MeCab 플러그인 작성
____3.3.6 노리크라 설치
____3.3.7 노리크라와 플루언티드 연동
____3.3.8 노리크라에 키워드 집계용 쿼리 등록
____3.3.9 엘라스틱서치와 키바나로 데이터 시각화하기
____3.3.10 노리크라, 플루언티드, 엘라스틱서치와 키바나의 연동
__3.4 마무리

4장 머신 러닝 알고리즘: 데이터로 미래를 보는 기술
__4.1 머신 러닝이란?
____4.1.1 레스토랑 예약으로 머신 러닝을 생각한다
__4.2 머신 러닝 알고리즘
____4.2.1 머신 러닝 알고리즘의 개요
____4.2.2 머신 러닝 알고리즘의 종류
__4.3 나이브 베이즈
____4.3.1 나이브 베이즈의 개요
____4.3.2 나이브 베이즈의 이론
____4.3.3 나이브 베이즈의 구체적인 예
____4.3.4 나이브 베이즈의 구현 방법
____4.3.5 나이브 베이즈의 마무리
__4.4 단층 퍼셉트론
____4.4.1 단층 퍼셉트론이란?
____4.4.2 퍼셉트론의 학습 과정
____4.4.3 퍼셉트론의 구현 방법
____4.4.4 퍼셉트론의 문제점
____4.4.5 퍼셉트론의 마무리
__4.5 온라인 학습
____4.5.1 온라인 학습이란?
____4.5.2 퍼셉트론의 온라인 학습 프로그램
____4.5.3 PA 알고리즘
____4.5.4 온라인 학습의 마무리
__4.6 서포트 벡터 머신
____4.6.1 서포트 벡터 머신이란?
____4.6.2 서포트 벡터 머신의 이론
__4.7 선형 회귀
____4.7.1 회귀 알고리즘이란?
__4.8 자기 회귀
____4.8.1 과거 데이터로 목적 함수를 추정하는 방법
__4.9 클러스터링
____4.9.1 클러스터링이란?
__4.10 맵리듀스와 머신 러닝
____4.10.1 대규모 데이터에 머신 러닝 알고리즘 적용
__4.11 머신 러닝 실습
____4.11.1 파이썬 환경 설치
____4.11.2 IRIS 데이터를 사용한 머신 러닝 예제
____4.11.3 digits 데이터를 사용한 머신 러닝 예제
____4.11.4 Boston 데이터를 사용한 머신 러닝 예제
__4.12 마무리

5장 딥러닝
__5.1 단층 퍼셉트론과 친구들
____5.1.1 단층 퍼셉트론 복습하기
____5.1.2 로지스틱 회귀
____5.1.3 다항 로지스틱 회귀
__5.2 신경망
____5.2.1 단층 퍼셉트론과 신경망의 차이점
____5.2.2 신경망
____5.2.3 유닛
____5.2.4 오차 역전파법
____5.2.5 프로그램 예시
____5.2.6 단층 퍼셉트론, 로지스틱 회귀, 다항 로지스틱 회귀, 신경망
__5.3 합성곱 신경망
____5.3.1 합성곱 신경망이란?
____5.3.2 합성곱층
____5.3.3 풀링층
____5.3.4 다층 신경망
____5.3.5 합성곱 신경망 학습
__5.4 재귀형 신경망
____5.4.1 재귀형 신경망이란?
____5.4.2 재귀형 신경망 학습
__5.5 텐서플로
____5.5.1 텐서플로 설치
____5.5.2 다항 로지스틱 회귀
____5.5.3 다층 신경망
____5.5.4 합성곱 신경망
____5.5.5 속편: 합성곱 신경망
__5.6 마무리

용어집
찾아보기

역자후기

책에서는 인공지능에 대한 개념과 대규모 빅데이터 처리를 위한 하둡, 맵리듀스 처리를 다룹니다. 또한, 조금 생소할 수 있는 하이브와 프레스토, 스파크에 대해서도 살펴봅니다. 책의 중반부터는 실습을 통해 머신 러닝을 본격적으로 다루면서 IRIS 실전 학습을 합니다. 마지막에는 딥러닝, 합성곱 신경망에 대해서도 빼놓지 않고 설명합니다. 또한, 가장 많이 사용하는 텐서플로를 끝으로 인공지능에 대한 설명을 마칩니다. 이 책을 통해 여러분이 인공지능이란 무엇인지 깨달을 수 있으리라 확신합니다.

 

역자후기

예제 코드가 짧고 단순하며, 비교적 이해하기 쉬운 파이썬으로 작성되었기 때문에 파이썬 개발자라면 쉽게 이해할 수 있습니다. 물론 수학 공식이 많이 나오지만, 조금만 자세히 들여다보면 어렵지 않습니다. 엔지니어는 오히려 수학 공식을 그대로 구현한 파이썬 예제 코드를 보면 머신 러닝이 더 친숙하게 느껴지지 않을까 생각합니다. 또한, 5장에서는 텐서플로를 사용해 간단한 딥러닝 모델을 만들어 볼 수도 있습니다. 평소 텐서플로가 어떤 것인지 궁금했다면 이번 기회에 첫걸음을 내디딜 수 있을 겁니다.

 

저자의 말

지금의 인공지능을 지탱해 주는 것은 데이터, 계산 환경, 인재입니다. 방대한 데이터가 들어오지 않으면 인공지능을 만들어 낼 수 없습니다. 또한, 방대한 데이터를 계산하는 환경이 없으면 인공지능을 만들어 낼 수 없습니다. 마지막으로 방대한 데이터를 처리하기 위한 계산기 환경을 구축하고 다룰 수 있는 기술자가 없으면 역시 인공지능을 만들어 낼 수 없습니다.
이 책을 통해 독자 여러분이 데이터 분석과 인공지능에 흥미를 갖게 되고, 훌륭한 어른으로 성장한 미래의 인공지능을 만들어 내는 연구자나 기술자로 발전하길 기대합니다.