데이터 과학 분야의 중급 및 고급 개발자 알아야 할 데이터 분석, 러닝 알고리즘, 모델 성능 평가, 지도식 및 비지도식 학습, 클러스터링과 이상점 감지, 반지도 학습 등 다양한 주제를 상세히 소개하며, WEKA, RapidMiner, Smile API, ELKI, JKernelMachines, KEEL, JCLAL, OpenMarkov, MALLET, KNIME, H2O, Spark MLLib, SAMOA 등 주요 오픈 소스 자바 도구의 활용 방법을 소개한다. 분석 예제로 UCI HorseColic 데이터세트, MNIST 손글씨 이미지 데이터세트, ELEC 전기 데이터세트, UCI Breast Cancer Wisconsin 데이터세트, UCI Adult 데이터세트, Reuters-21578 데이터세트, UCI Covertype 데이터세트를 이용한다.
★ 이 책에서 다루는 내용 ★

■ 자바 머신 러닝 라이브러리 마스터
■ 각각의 머신 러닝 기법이 해결할 수 있는 문제의 종류 파악 및 관련 기초 이론과 실무 적용 방법
■ 머신 러닝의 주요 분야라 할 수 있는 분류, 클러스터링, 이상점 감지, 확률적 그래프 모델링, 텍스트 마이닝 기법
■ 실제 데이터에 적용 가능한 머신 러닝의 방법론, 프로세스, 애플리케이션, 분석 방법
■ 최신 머신 러닝 연구 주제라 할 수 있는 딥러닝, 스트림 데이터 마이닝, 능동 학습, 반지도 학습 기법과 이들을 이용한 실무적인 실험
■ 고성능의 실시간 적응형 예측 모델을 통해 배치형 및 스트림 기반 빅데이터를 분석하는 방법론과 자바 기반 도구들
■ 사이버 보안, 금융 범죄, 사물인터넷, 소셜 네트워킹 등의 문제를 해결할 수 있는 AI에 대한 깊이 있는 이해

★ 이 책의 대상 독자 ★

이 책의 첫 번째 대상 독자는 데이터를 다루는 전문가, 데이터 분석, 시각화, 변환 책임자, 그리고 자바 기반의 예측적, 기술적, 규범적 분석을 목적으로 하는 머신 러닝에 의한 훈련, 검증, 테스트, 평가 등의 업무를 수행하는 데이터 분석 담당자다.
또한 이 책의 독자는 머신 러닝의 도구로 자바를 선택했으며, 자바 프로그래밍에 대한 일정 수준 이상의 프로그래밍 경험을 갖췄다고 가정한다. 그렇지 않은 경우, 데이터 분석 및 연구 환경, 그리고 회사 정책상 자바 언어로 작성된 서드파티 도구를 사용하는 독자라고 가정한다. 또 다른 경우, 자바 프로그래밍 경험이 전혀 없는 예비 독자도 있을 텐데, 이 책은 자바 전문가용으로 작성됐다는 점을 기억해주기 바란다.
이 책의 두 번째 독자는 지적 호기심에서 머신 러닝을 학습하며, 머신 러닝의 기본 개념과 실무적 기법, 활용 도구까지 관심을 가진 경우다. 이런 독자라면 수학 공식 부분은 생략하고 가장 대표적인 지도식 및 비지도식 학습 알고리즘의 기본 개념과 도구 활용 방법에만 집중하길 바란다.
실무 예제와 도구를 집중적으로 익히고 싶은 독자는 (머신 러닝에 대한 이론적 토대가 강조된) 1, 2, 3, 7장을 생략하고 실무적으로 즉시 적용할 수 있는 데이터세트와 분석 기법을 중심으로 살펴보길 바란다.
이 책에 실린 다양한 데이터세트와 머신 러닝 실험을 통해 궁금한 부분에 대한 해답을 찾을 수 있다. 3장, '비지도식 머신 러닝 기법'에서 소개하는 어피니티 전파 알고리즘, 7장, '딥러닝'에서 소개하는 LSTM 아키텍처, 그리고 5장, '실시간 스트림 머신 러닝'에서 소개하는 실시간 학습에서의 이상점 감지를 위해 거리 기반 클러스터링 기법을 사용할 때의 장점 및 단점 등, 다양한 이론과 사례를 신속하게 접근할 수 있는 참조 자료처럼 활용할 수 있다. 이 책에 실린 대부분의 내용은 머신 러닝에 흥미를 느끼는 독자라면 이해하기 쉽게 구성했으며 다양한 예제를 통해 실무적인 접근 방식도 파악할 수 있도록 했다.

★ 이 책의 구성 ★

1장, '머신 러닝 개론'에서는 『머신 러닝 인 자바』(에이콘, 2016) 등 관련 서적에 소개된 머신 러닝의 기본 개념과 기법에 대해 설명한다. 머신 러닝에 대한 이해를 위해 필수적인 데이터, 데이터 변환, 표본추출, 편향성, 특성의 개념 및 중요성, 지도식 및 비지도식 학습, 빅데이터 학습, 실시간 학습, 확률적 그래프 모델, 반지도 학습 등의 개념에 대해 알아본다.
2장, '지도식 학습에 대한 실무적인 접근'에서는 지도식 학습의 개념과 이를 구현한 다양한 기법에 대해 알아본다. 특성 선택과 특성 감소, 선형 모델, 로지스틱 모델, 비선형 모델, SVM과 커널, 배깅과 부스팅 등 앙상블 학습 기법, 검증 기법과 성능 평가 지표, 그리고 모델 선택 기법에 대해 알아본다. 실무 예제 분석에서는 WEKA와 RapidMiner를 이용해서 데이터 분석에서부터 모델 성능 분석까지의 과정을 살펴본다. 이후 장에서도 실무 예제 분석을 통해 해당 장에서 소개한 주요 머신 러닝 기법과 모델을 실무적으로 적용하는 과정을 설명한다. 예제에서는 UCI HorseColic 데이터세트를 사용한다.
3장, '비지도식 머신 러닝 기법'에서는 클러스터링, 이상점 감지 기법과 애플리케이션에 대해 알아본다. 비지도식 데이터에서의 특성 선택과 특성 감소, 클러스터링 알고리즘, 클러스터링의 평가 기법, 통계 기법, 거리 기반 기법, 분포 기반 기법 등을 이용한 이상점 감지 등에 대해서도 살펴본다. 마지막, 실무 예제 분석에서는 MNIST의 실제 이미지 데이터세트를 이용하며, 차원 감소를 위해 Smile API를 사용하고, 학습을 위해 ELKI를 사용한다.
4장, '반지도식 학습과 능동 학습'에서는 소량의 라벨 데이터를 이용한 알고리즘 및 학습 기법에 대해 알아보며 자가 훈련, 생성적 모델, 전이 SVM, 공동 훈련, 능동 학습, 다중 뷰 학습 등에 대해 소개한다. 사례 분석에는 UCI Breast Cancer Wisconsin 데이터세트를 이용하며 JKernelMachines, KEEL 그리고 JCLAL 등의 도구를 사용한다.
5장, '실시간 스트림 머신 러닝'에서는 실시간 데이터 스트림이 전통적인 배치형 데이터와 어떤 점에서 다른지, 그리고 문제 해결 방식은 어떻게 다른지에 대해 알아본다.
스트림 머신 러닝과 애플리케이션, 지도식 스트림 학습, 비지도식 클러스터 스트림 학습, 비지도식 이상점 학습, 스트림 학습 모델의 평가 기법과 평가 지표 등에 대해 소개한다. 사례 분석에서는 ELEC의 전기 데이터세트를 이용하며, 모델 구현 도구로 MOA 프레임워크를 사용한다.
6장, '확률적 그래프 모델링'에서는 다차원 공간상의 복합 결합 확률 분포를 통해 현실 세계의 문제를 해결하는 방법에 대해 알아본다. 확률적 그래프 모델은 확률의 시각적 표현, 추론에 의한 결론 도출, 효과적인 학습 방법을 제공한다. 이 장에서 다루는 대표적인 내용은 PGM, 베이지안 네트워크, 마코프 네트워크, 그래프 구조 학습, 은닉 마코프 모델, 그리고 추론 기법 등이다. 사례 분석에서는 UCI Adult(가구당 소득 통계조사) 데이터세트를 이용하며 OpenMarkov와 WEKA의 Bayes network를 사용한다.
7장, '딥러닝'에서는 가장 복잡한 AI 문제를 풀 수 있으며, 오늘날 머신 러닝의 총아라 할 수 있는 딥러닝에 대해 알아본다. 이 장에서 다루는 대표적인 내용은 신경망, 신경망과 관련된 주요 난제, 심층 신뢰망, 제한 볼츠만 머신, 컨볼루션 네트워크, 롱숏텀 메모리 유닛, 노이즈 감소 오토인코더, 리커런트 네트워크 등이다. 사례 분석에서는 딥러닝의 구현 방식, 파라미터 튜닝에 대한 이해를 돕기 위해 MNIST 이미지 데이터세트에 대해 DeepLearning4J 프레임워크를 적용한다.
8장, '텍스트 마이닝과 자연어 처리'에서는 텍스트 마이닝을 위한 다양한 기법, 알고리즘, 도구에 대해 소개한다. 이 장의 대표 주제는 텍스트 마이닝, 텍스트 데이터의 대표값, 차원 감소 기법, 토픽 모델링, 텍스트 클러스터링, 개체명 인식, 그리고 딥러닝 등이다. 분석 실무에서는 비정형 텍스트 데이터(Reuters-21578 데이터세트)를 이용해서 토픽 모델링과 텍스트 분류 기법의 구현 과정을 살펴보며, MALLET 그리고 KNIME 도구를 사용한다.
9장, '빅데이터 머신 러닝'에서는 매우 큰 용량의 데이터, 혹은 매우 빠른 속도로 증가하는 데이터를 통해 어떻게 학습할 것인가? 확장성 문제는 어떻게 해결할 것인가? 등과 같이 오늘날 가장 중요시되는 질문에 대한 답을 찾는다. 주요 주제는 빅데이터 클러스터 배포 프레임워크, 빅데이터 저장 옵션, 배치형 데이터 처리, 배치형 데이터 머신 러닝, 실시간 머신 러닝 프레임워크, 실시간 스트림 학습 등이다.
실무 분석에서는 배치형 및 실시간형 빅데이터 분석 기법에 대해 알아보기 위해 UCI Covertype 데이터세트를 이용하며 H2O, Spark MLLib 그리고 SAMOA 등의 빅데이터 전문 라이브러리를 사용한다.
부록 A, '선형 대수학'에서는 선형 대수학의 개념을 소개하고, 잊었던 기본 이론을 복습한다. 부록에서 모든 내용을 다룰 수는 없지만, 이 책에서 소개하는 머신 러닝의 주요 개념을 이해하기에는 부족하지 않으리라 생각한다. 주요 주제는 벡터, 행렬, 행렬의 기본 연산, 연산 규칙, 행렬의 선형 변환, 역행렬, 에이젠 분해, 정치행렬, 특이값 분해 등이다.
부록 B, '확률'에서는 확률의 핵심 개념을 정리한다. 주요 주제는 확률의 공리, 베이즈 이론, 확률 밀도 측정, 평균, 분산, 표준편차, 가우시안 표준편차, 공분산, 상관관계 상관계수, 이항분포, 푸와송 분포, 가우시안 분포, 중심극한정리, 오류 전파 등이다.

우데이 카마스 박사는 가히 아이디어의 용광로라 부를 만하다. 그가 내 연구실에 들어올 때마다 머신 러닝과 컴퓨터 과학에 대해 끊임없는 대화를 나눴다. 나는 15년간 조지 메이슨 대학교(GMU, George Mason University)의 컴퓨터 과학 교수로 일하고 있으며, 머신 러닝과 데이터 마이닝을 집중적으로 연구하고 있다. 우다이를 처음 만났을 때 그는 내 데이터 마이닝 강의 수강생이었고, 이후 연구 동료, 논문의 공저자, 그리고 대규모 머신 러닝 프로젝트의 파트너가 됐다.

우데이는 BAE 시스템 응용 지능 부서에서 책임 데이터 과학자로 일하는 동안 진화론적 컴퓨팅, 그리고 머신 러닝을 주제로 박사 학위를 받았다. 그는 업무와 학업을 병행하는 수준을 넘어서, GMU에서 종신 재직권을 부여 받은 뒤 네 명의 전문가와 컴퓨터 과학에 대한 다수의 논문을 출간했는데, 이는 사실 매우 어려운 일이다. 우데이의 이와 같은 열정을 잘 알고 있었기에, 그가 박사 과정을 4년도 안 돼서 마쳤다는 얘기를 듣고도 많이 놀라지 않았으며 이렇게 그의 공저 『자바 머신 러닝 마스터』의 추천사를 쓰기에 이르렀다. 우데이의 끊임없는 도전의 산물이라 할 수 있는 이 책은 머신 러닝을 마스터하려는 독자에게 더 없이 훌륭한 기회를 제공할 것이다.

이 책은 머신 러닝의 실용적인 해법과 이를 구현한 주요 방법론에 대한 깊은 고민과 풍부한 지식, 그리고 다양한 실증적 경험의 결과라고 생각한다. 시중에는 머신 러닝과 데이터 분석에 대한 다양한 서적이 있지만, 이 책은 이론적 접근과 실용적 접근의 간극을 메운다는 면에서 의미가 크다. 머신 러닝의 고전적 기법과 현대적 기법에 대한 종합적이고 체계적인 안내서며, 각각의 기법이 지닌 장점과 단점, 실무적인 적용 방법과 구현 원리를 설명한다. 데이터 과학 및 분석 분야에 입문한 독자에게 훌륭한 안내서가 될 것이며, 데이터 과학을 전공하거나 졸업한 독자에게는 다양한 머신 러닝 기법을 효율적으로 구현하기 위한 방법을 소개하는 실용서가 될 것이다.

이 책은 머신 러닝의 전통적인 기법인 분류, 클러스터링, 차원 감소, 이상점 감지, 반지도 학습, 능동 학습 등을 소개하고, 현대적인 주제이자 고급 기법이라 할 수 있는 실시간 데이터 학습, 딥러닝, 빅데이터 기반의 학습 등에 대해 설명한다. 각 장은 주요 주제에 대한 이론적 설명과 이에 대한 사례 분석으로 구성되며, 실무에 적용하기 위한 자바 기반 도구의 활용 방법을 소개하며 해당 주제 및 도구를 기준으로 한 데이터 수집, 실험 설계, 모델링, 결과 분석, 평가 등의 프로세스를 설명한다. 각 장의 이론 및 예제는 독자 스스로 문제를 풀어나갈 수 있도록 구성됐으며, 각자의 이해도와 수준에 따라 활용 범위를 조절할 수 있도록 했다. 책과 함께 제공되는 웹 사이트 또한 중요한 자료와 코드를 담고 있으며, 머신 러닝의 다양한 이론과 기법을 실제 분석 환경에서 처음 적용해보려는 학생과 데이터 분석가 모두에게 유용할 것이라 확신한다.

이 책을 읽으면서 학습과 지식에 대한 우데이의 열정이 새삼 떠올랐다. 이 책의 처음부터 끝까지 머신 러닝의 주요 개념을 명확하게 설명하기 위해 혼신의 노력을 기울였으리라 생각하며, 독자들 역시 그렇게 느낄 수 있으리라 생각한다. 나 역시 강의와 연구에서 이 책을 참고할 것이며 학생들에게도 주저하지 않고 이 책의 일독을 추천할 것이다.

 

/칼로타 도메니코니 박사(Dr. Carlotta Domeniconi)

조지 메이슨 대학교 컴퓨터 과학과 부교수

1장. 머신 러닝의 개요 __머신 러닝의 역사와 정의 __머신 러닝에 대한 오해: 머신 러닝이 아닌 것은? __머신 러닝의 핵심 개념과 주요 용어 __머신 러닝에 활용되는 다양한 데이터 타입과 서브타입 __머신 러닝에 활용되는 데이터세트 __산업 부문별 머신 러닝 응용 분야와 알고리즘 __머신 러닝의 실무적인 과제 __머신 러닝 전문가와 구현 프로세스 ____머신 러닝 전문가 ____머신 러닝 프로세스 __머신 러닝 도구와 데이터세트 ____머신 러닝 데이터세트 __정리 2장. 지도학습에 대한 실무적인 접근 __지도학습에 사용되는 용어와 표기법 ____데이터 품질 분석 ____기술적(설명적) 데이터 분석 ____시각화 분석 __데이터 변환 및 전처리 ____추가적인 특성 ____누락값 처리 ____이상점 ____이산화 ____데이터 표본추출 ____모델 훈련, 검증, 그리고 테스트 데이터세트 __특성 관계 분석과 차원 감소 ____특성 검색 기술 ____특성 평가 기법 ____랩퍼 기법 ____임베드 접근법 __모델 만들기 ____선형 모델 ____비선형 모델 ____앙상블 학습과 메타학습 모델 __모델 평가, 검증, 비교 ____모델 평가 ____모델 검증 매트릭스 ____머신 러닝 모델 간의 비교 __사례 연구 - 말의 복통 분류 ____비즈니스 문제 정의 ____머신 러닝 맵핑 ____데이터 분석 ____지도학습 실험 ____결과, 관찰, 그리고 분석 __정리 3장. 비지도식 머신 러닝 기법 __지도식 머신 러닝 기법의 주요 이슈 __비지도식 머신 러닝 기법의 주요 이슈 __특성 분석과 차원 감소 ____표기법 ____선형 차원 감소 기법 ____비선형 차원 감소 기법 __클러스터링 ____클러스터링 알고리즘 ____스펙트럴 클러스터링 ____어피니티 전파 ____클러스터링 검증 및 평가 __이상점 또는 특이점 감지 기법 ____이상점 감지 알고리즘 ____이상점 평가 기법 __실무 사례 분석 ____도구와 소프트웨어 ____비즈니스 문제 정의 ____머신 러닝 맵핑 ____데이터 수집 ____데이터 품질 분석 ____데이터 샘플링 및 변환 ____특성 분석 및 차원 감소 ____클러스터링 모델, 결과, 그리고 평가 ____이상점 모델 구현 결과 및 평가 __정리 4장. 반지도 학습 및 능동 학습 __반지도 학습 ____기본적인 수식 및 표현, 가정 ____반지도 학습 기법 ____반지도 학습 실무 사례 분석 __능동 학습 ____기본 표현과 수식 ____능동 학습 시나리오 ____능동 학습 절차 ____버전 공간 표본추출 ____데이터 분포 표본추출 __능동 학습 실무 사례 분석 ____도구와 소프트웨어 ____비즈니스 문제 정의 ____머신 러닝 맵핑 ____데이터 수집 ____데이터 샘플링 및 변환 ____특성 분석 및 차원 감소 ____모델, 결과, 평가 ____능동 학습 결과 분석 __정리 5장 .실시간 스트림 머신 러닝 __스트림 기반 학습의 기본 가정 및 수학적 표현 __기본 스트림 처리 및 연산 기법 ____스트림 연산 ____슬라이딩 윈도우 ____표본추출 __컨셉 드리프트와 드리프트 감지 ____데이터 관리 기법 ____감지 기법 __증가형 지도 학습 ____모델 구현 방법 ____온라인 설정에서의 모델 검증, 평가, 비교 __클러스터링을 활용한 증가형 비지도 학습 ____모델 구현 기법 __이상점 감지를 위한 비지도 학습 ____이상점 감지를 위한 파티션 기반 클러스터링 ____이상점 감지를 위한 거리 기반 클러스터링 __스트림 기반 학습의 실무 사례 ____도구 및 소프트웨어 ____비즈니스 문제 정의 ____머신 러닝 맵핑 ____데이터 수집 ____표본추출 및 변환 ____모델, 결과, 평가 ____스트림 기반 학습 결과 분석 __정리 6장. 확률적 그래프 모델 구현 __확률 복습 ____확률의 개념 __그래프의 개념 ____그래프 구조 및 기본 속성 ____서브그래프와 클리닉 ____패스, 트레일, 사이클 ____베이지안 네트워크 ____수학적 표현 ____추론 ____베이지안 네트워크에서의 학습 ____학습 파라미터 __마코프 네트워크와 조건부 랜덤 필드 ____수학적 표현 ____마코프 네트워크에서의 추론 ____마코프 네트워크에서의 학습 ____조건부 랜덤 필드 __특화된 네트워크 ____트리 강화 네트워크 ____마코프 체인 ____HMM의 최고 확률 경로 ____HMM의 사후 복호화 __도구와 활용 방법 ____오픈마코프 ____Weka 베이지안 네트워크 GUI __실무 사례 분석 ____비즈니스 문제 정의 ____머신 러닝 맵핑 ____표본추출 및 데이터 변환 ____특성 분석 ____모델, 결과, 평가 ____결과 분석 __정리 7장. 딥러닝 __다층 피드포워드 신경망 기법 ____입력값, 뉴론, 활성화 함수, 수학적 표현 ____다층 신경망 __신경망 기법의 한계 ____기울기 사라짐, 지역 최적화, 훈련 지연 문제 __딥러닝 ____딥러닝의 주요 개념 __사례 분석 ____도구와 소프트웨어 ____비즈니스 문제 ____머신 러닝 맵핑 ____표본추출 및 데이터 ____특성 분석 ____모델, 결과, 평가 __정리 8장. 텍스트 마이닝과 자연어 처리 __NLP, 하위 분야 및 주요 임무 ____텍스트 범주화(카테고리화) __음성 태깅 __텍스트 클러스터링 ____정보 추출 및 개체명 인식 ____감정 분석 및 오피니언 마이닝 ____대용어 또는 동일지시어 해소 ____어휘 중의성 해소 ____기계 번역 ____시멘틱(의미론적) 논증 및 추론 ____텍스트 자동 요약 __자동화된 질문과 답변 __비정형 데이터 마이닝의 당면 과제 __텍스트 처리 요소와 변환 ____문서 수집 및 표준화 ____토큰화 ____중지 단어 제거 ____어간 단어 표기 ____지역 및 전역 사전 생성 ____특성 추출 및 생성 ____특성의 대표성 및 유사성 ____특성 선택 및 차원 감소 기법 __텍스트 마이닝에서의 토픽 선정 ____텍스트 카테고리화 및 텍스트 분류 ____토픽 모델링 ____텍스트 클러스터링 ____클러스터링 기법 __개체명 인식 ____NER을 위한 은닉 마코프 모델 ____딥러닝과 NLP __NLP 분석 도구와 활용 방법 ____맬릿을 이용한 토픽 모델링 ____비즈니스 문제 정의 ____머신 러닝 맵핑 ____데이터 수집 ____표본추출 및 변환 ____특성 분석 및 차원 감소 ____모델, 결과, 평가 ____텍스트 처리 결과 분석 __정리 9장. 빅데이터 분석을 위한 머신 러닝의 첨단 도구 __빅데이터의 특징 __빅데이터 분석을 위한 머신 러닝 ____범용 빅데이터 프레임워크 __배치형 빅데이터 머신 러닝 ____빅데이터 머신 러닝 플랫폼 - H2O __사례 분석 ____비즈니스 문제 정의 ____머신 러닝 맵핑 ____데이터 수집 ____데이터 추출 및 변환 ____빅데이터 머신 러닝 플랫폼 - Spark MLlib __실시간형 빅데이터 머신 러닝 ____실시간 빅데이터 머신 러닝 프레임워크 - SAMOA ____머신 러닝 알고리즘 ____도구와 활용 ____실험, 결과, 그리고 분석 __머신 러닝의 미래 __정리 부록 A. 선형 대수학 __벡터 ____벡터의 스칼라 곱 __행렬 ____행렬 변환 __행렬의 특이값 분해 부록 B. 확률 __확률의 공리 __베이즈 이론 ____확률 밀도 측정 ____평균 ____분산 ____표준편차 ____가우시안 표준편차 ____공분산 ____상관관계 상관계수 ____이항 분포 ____푸와송 분포 ____가우시안 분포 ____중심극한정리 ____오류 전파