빅데이터 분석 전문가를 희망하는가
데이터 분석 기획, 컨설팅, 개발을 원하는가

‘빅데이터 분석’ 전반을 설명한 개론서

‘빅데이터 분석’ 전반에 대해 설명한 개론서이다. 빅데이터 분석에 대한 다양한 관점에서의 이해와 환경, 빅데이터 기획과 설계 측면에서 고려해보아야 할 것들을 다루었다. 한편으로는 지은이의 주관적인 해석이나 견해를 곳곳에 담았다. 이는 ‘빅데이터 분석’에 관한 문제들을 한 번이라도 직접 생각하게 해보려는 의도가 들어있다.

머지않아 국내에서도 관련 법규제에 대한 개선과 업계의 생태계가 만들어진다면 ‘데이터 가공, 유통’에 대해 많은 발전이 있을 것이다. 하지만 이 데이터를 해당 기관, 기업에 적합하게 분석할 수 있는 전문가는 그리 많지 않다. 현재 ‘빅데이터 분석 전문가’를 양성하는 교육도 기술에 치우쳐있어 ‘빅데이터 분석’에 대한 이해와 실질적인 활용은 어렵다. 대부분의 빅데이터 도서도 빅데이터의 특정 기술을 중심으로 구성되어있다. 또한 전문가라고 하더라도, 현실에서 만나는 대부분의 ‘빅데이터 분석’ 문제들을 만족스럽게 해결하기는 어렵다. ‘빅데이터 분석’은 다루는 범위가 넓기도 하지만, 정답이 무엇인지도 명확하지 않기 때문이다. 오늘은 이런 방법이 최선이었지만, 내일은 다른 방법이 있다는 것을 알게 될 수도 있다. 이에 대한 안타까움으로 저자들은 ‘빅데이터 기술’보다는 ‘빅데이터 분석’에 대한 이해를 중심으로 도서작업을 진행하였다.

이 책은 어느 정도 빅데이터 분야를 공부하거나 경험이 있는 사람들을 대상으로 한다. 하지만 향후 '빅데이터 분석 전문가’를 희망하는 잠재적 인재들을 대상으로 가능한 쉽게 이해할 수 있도록 책을 구성하였다.

『빅데이터 분석 개론』은 빅데이터 분석 시리즈의 1권으로, 2권 『빅데이터 분석 사례연구와 실습』, 3권 『빅데이터 분석 데이터 모델링과 구축 방법론, 4권 『빅데이터 분석과 과학 그리고 인문학』이 곧 출간될 예정이다.

 

출판사 서평
빅데이터 분석 전문가를 희망하는가
데이터 분석 기획, 컨설팅, 개발을 원하는가
‘빅데이터 분석’ 전반을 설명한 개론서
‘빅데이터 분석’ 전반에 대해 설명한 개론서이다. 빅데이터 분석에 대한 다양한 관점에서의 이해와 환경, 빅데이터 기획과 설계 측면에서 고려해보아야 할 것들을 다루었다. 한편으로는 지은이의 주관적인 해석이나 견해를 곳곳에 담았다. 이는 ‘빅데이터 분석’에 관한 문제들을 한 번이라도 직접 생각하게 해보려는 의도가 들어있다.
머지않아 국내에서도 관련 법규제에 대한 개선과 업계의 생태계가 만들어진다면 ‘데...
빅데이터 분석 전문가를 희망하는가
데이터 분석 기획, 컨설팅, 개발을 원하는가
‘빅데이터 분석’ 전반을 설명한 개론서
‘빅데이터 분석’ 전반에 대해 설명한 개론서이다. 빅데이터 분석에 대한 다양한 관점에서의 이해와 환경, 빅데이터 기획과 설계 측면에서 고려해보아야 할 것들을 다루었다. 한편으로는 지은이의 주관적인 해석이나 견해를 곳곳에 담았다. 이는 ‘빅데이터 분석’에 관한 문제들을 한 번이라도 직접 생각하게 해보려는 의도가 들어있다.
머지않아 국내에서도 관련 법규제에 대한 개선과 업계의 생태계가 만들어진다면 ‘데이터 가공, 유통’에 대해 많은 발전이 있을 것이다. 하지만 이 데이터를 해당 기관, 기업에 적합하게 분석할 수 있는 전문가는 그리 많지 않다. 현재 ‘빅데이터 분석 전문가’를 양성하는 교육도 기술에 치우쳐있어 ‘빅데이터 분석’에 대한 이해와 실질적인 활용은 어렵다. 대부분의 빅데이터 도서도 빅데이터의 특정 기술을 중심으로 구성되어있다. 또한 전문가라고 하더라도, 현실에서 만나는 대부분의 ‘빅데이터 분석’ 문제들을 만족스럽게 해결하기는 어렵다. ‘빅데이터 분석’은 다루는 범위가 넓기도 하지만, 정답이 무엇인지도 명확하지 않기 때문이다. 오늘은 이런 방법이 최선이었지만, 내일은 다른 방법이 있다는 것을 알게 될 수도 있다. 이에 대한 안타까움으로 저자들은 ‘빅데이터 기술’보다는 ‘빅데이터 분석’에 대한 이해를 중심으로 도서작업을 진행하였다.
이 책은 어느 정도 빅데이터 분야를 공부하거나 경험이 있는 사람들을 대상으로 한다. 하지만 향후 '빅데이터 분석 전문가’를 희망하는 잠재적 인재들을 대상으로 가능한 쉽게 이해할 수 있도록 책을 구성하였다.
『빅데이터 분석 개론』은 빅데이터 분석 시리즈의 1권으로, 2권 『빅데이터 분석 사례연구와 실습』, 3권 『빅데이터 분석 데이터 모델링과 구축 방법론, 4권 『빅데이터 분석과 과학 그리고 인문학』이 곧 출간될 예정이다.
출판사 리뷰
‘빅데이터 분석’ 시리즈 첫 번째 도서
‘빅데이터 분석’ 전반을 설명한 개론서
빅데이터 분석 전문가를 희망하는가
데이터 분석 기획, 컨설팅, 개발을 원하는가
“빅데이터”라는 용어가 우리 곁으로 다가온 지 5년이 넘어가고 있다. 2012년에는 하드웨어, 네트워크, 디스크 제조 벤더가 주도하였지만, 인프라 구축과 기술의 검증이 끝나가면서 분석과 활용으로 중심이 바뀌었다. 지난 2015년까지 ‘빅데이터’와 ‘빅데이터 기술’이 중심이었다면 2016년부터는 빅데이터, 빅데이터 기술에 알고리즘이 추가되는 형태로 발전되어 가고 있다. 빅데이터 자체보다는 빅데이터를 어떻게 분석하고 어디에 활용하는지가 더 중요하게 되었다.
‘빅데이터 기술’과 ‘빅데이터 분석’은 다른 영역이다. ‘빅데이터 기술’은 컴퓨터공학을 전공한 사람들이 적용하고 발전시킨 것이고, ‘빅데이터 분석’은 통계학, 경영학, 사회학 등을 전공한 사람들이 가장 잘 활용할 수 있는 영역이다. 그러나 서로 생경한 영역이라 최근에는 ‘융합학문’이 대안으로 나타나고 있다. 컴퓨터공학을 전공한 사람은 비즈니스나 통계에 대해 비교적 어려워하고, 통계나 경영을 전공한 사람은 빅데이터 기술을 어려워한다. 이에 최근 가장 많이 활용되는 오픈소스 ‘R’을 쉽고 빠르게 활용할 수 있는 도구들도 나타나고 있다.
머지않아 국내에서도 관련 법규제에 대한 개선과 업계의 생태계가 만들어진다면 ‘데이터 가공, 유통’에 대해 많은 발전이 있을 것이다. 하지만 이 데이터를 해당 기관, 기업에 적합하게 분석할 수 있는 전문가는 그리 많지 않다. 현재 ‘빅데이터 분석 전문가’를 양성하는 교육도 기술에 치우쳐있어 ‘빅데이터 분석’에 대한 이해와 실질적인 활용은 어렵다. 대부분의 빅데이터 도서도 빅데이터의 특정 기술을 중심으로 구성되어있다. 또한 전문가라고 하더라도, 현실에서 만나는 대부분의 ‘빅데이터 분석’ 문제들을 만족스럽게 해결하기는 어렵다. ‘빅데이터 분석’은 다루는 범위가 넓기도 하지만, 정답이 무엇인지도 명확하지 않기 때문이다. 오늘은 이런 방법이 최선이었지만, 내일은 다른 방법이 있다는 것을 알게 될 수도 있다. 이에 대한 안타까움으로 ‘빅데이터 기술’보다는 ‘빅데이터 분석’에 대한 이해를 중심으로 도서작업을 진행하였다.
이 책은 ‘빅데이터 분석’ 전반에 대해 설명한 개론서이다. 빅데이터 분석에 대한 다양한 관점에서의 이해와 환경, 빅데이터 기획과 설계 측면에서 고려해보아야 할 것들을 다루었다. 한편으로는 지은이의 주관적인 해석이나 견해를 곳곳에 담았다. 이는 ‘빅데이터 분석’에 관한 문제들을 한 번이라도 직접 생각하게 해보려는 의도가 들어있다.
전문가로 불리는 누군가가 제시한 방안을 그대로 받아들이면, 현실의 ‘빅데이터 분석’ 문제를 해결할 능력이 길러지지 않는다. 당연한 이론이나 인기 있는 기술 지식이라도, 자세히 들여다보고 그것들이 잘못되거나 부족한 점이 있는지를 생각해보는 것이 중요하다. 따라서 이 책은 ‘빅데이터 분석’이 무엇인지 알아보려는 정도로 볼 책은 아니다. 빅데이터 분석에 관련된 기획이나 컨설팅, 개발을 하려는, 즉 어느 정도 이 분야에 대한 공부나 경험이 있는 사람들을 대상으로 한다. 하지만 향후 '빅데이터 분석 전문가’를 희망하는 잠재적 인재들을 대상으로 가능한 쉽게 이해할 수 있도록 책을 구성하였다.

‘빅데이터 분석’을 하고 있는 사람은 책의 제1부부터, ‘빅데이터 기술’에 대해 이해가 있는 사람은 제2부부터 정독을 한다면 현재 하고 있는 일과 하고자 하는 일에 대한 정리와 방향성이 나타날 것이다. 이어서 빅데이터 분석의 사례와 실제 적용 가능한 내용에 대해서는 곧 출간할 『빅데이터 분석 사례연구와 실습』에서 상세하게 다룰 예정이다.

데이터와 빅데이터의 구분은 명확하지 않다. 굳이 구분할 가치가 없는 상황도 있다. 지금까지 설명한 빅데이터의 의미를 잘 습득했다면, 다음과 같은 고지식한 주장은 하지 않을 것이라고 기대한다.
“우리는 빅데이터 분석을 해야 한다.” 또는 “이 데이터는 빅데이터다. 그러니 기존 기술로는 안 되고 Hadoop과 같은 새로운 빅데이터 기술로 시스템을 만들어야 한다.” --- p.18

마윈(馬雲) 회장은 “2030년 세계는 시장경제(market economy)와 계획경제(planned economy)를 놓고 대논쟁을 다시 벌이게 될 것”이고 “2030년엔 계획경제가 더 우월한 시스템이 될 것”이라고도 말했다. 실시간으로 생기는 엄청난 빅데이터를 수집·분석할 수 있는 데이터기술에 주목하며 새로운 개념의 계획경제를 들고 나온 것인데, 시장을 훤히 들여다볼 수 있어 자원을 계획적으로 생산·분배할 수 있다는 가정이 들어있다. --- p. 38

기업이나 정부조직에서 관심을 가질만한 분야를 떠올려 보자. 그 분야는 순수공학이나 자연과학보다는 경영과학에서 관심을 가지는 문제로 합리적인 의사결정을 필요로 하는 분야다.
이제 생산계획, 재고관리, 자금계획, 수송계획, 공장이나 점포의 위치선정, 품질관리, 광고 및 판매 전략에서 응용할 수 있는 모형과 기법들을 만나보자. --- p. 140

데이터 과학자의 미래는 어떻게 될까? 기계가 스스로 프로그램을 만든다고 한다. 수집된 데이터의 모습을 보고 어떤 분석 모형이 좋은지를 판단해서 분석하고 검증하고 진화해 나가는 것도 가능할 것 같다. 강화학습이 더 발전하면, 지금도 그렇지만, 더 좋은 데이터를 쉽게 대량으로 만들어내고 분석 모형의 진화도 놀라울 정도로 진행될 것이다. 먼 미래는 모르겠지만 엘리베이터를 최적으로 운영하는 것보다 거울을 다는 게 낫다고 판단할 정도의 데이터 과학자라면 직업을 잃어버릴 염려는 안 해도 될 것 같다. --- p. 179

현실에서 부딪히게 되는 데이터 폭발 문제를 다루어 본다 .
차원의 모든 멤버별로 데이터가 표현되는 큐브에서, 원래의 소규모(희박한) 데이터가 큐브에서 대규모로 증대되는 현상78)을 데이터 폭발이라고 했다. 이 문제는 OLAP 초기의 문제이며 최근의 MOLAP 엔진에서는 문제가 되지 않는다. --- p. 276

목차
제 1 부 빅데이터 분석의 이해
1. 빅데이터 이해
1.1 빅데이터의 실제 모습
1.2 정보와 데이터
1.3 과거의 빅데이터 접근법
1.4 빅데이터에서 중요한 것
2. 빅데이터 분석 동향
2.1 빅데이터 분석의 시대적 흐름
2.2 플랫폼 관점의 동향
2.3 데이터 관점의 동향
2.4 알고리즘 관점의 동향
2.5 활용 관점의 동향
2.6 공공데이터 개방 동향
3. 빅데이터 분석 바라보기
3.1 책과 신문 기사에서 소개되는 분석
3.2 실제 기업에서 원하는 분석
3.3 데이터에서 분석까지의 거리
3.4 개념적인 분석 기법 리뷰
4. 데이터 의미 표현을 위한 빅데이터 분석
4.1 데이터 분석 방법의 구분
4.2 OLAP과 Reporting
4.3 대시보드
4.4 시각화
5. 추측과 의미 파악을 위한 빅데이터 분석
5.1 통계
5.2 신경망 기반의 기계학습과 딥러닝
5.3 오차 기반의 기계학습과 유사성 기반의 기계학습
5.4 정보 기반의 기계학습
5.5 베이즈정리 기반의 기계학습
5.6 기계학습에서의 다양한 학습 방법
6. 의사결정에 직접 활용하기 위한 빅데이터 분석
6.1 최적화
6.2 예측과 추정을 위한 확률과정 모형
6.3 시나리오 기반 시뮬레이션
7. 데이터 과학자
7.1 데이터 과학자의 모습
7.2 분석 필요성의 판단
7.3 분석 데이터 만들기
7.4 분석의 검증과 모니터링
7.5 데이터 과학자로서의 견해
제 2 부 빅데이터 분석 기획과 설계
1. 빅데이터 분석 비즈니스 기획
1.1 데이터 비즈니스
1.2 비즈니스와 시스템
1.3 파레토 법칙(Pareto’s Law)
1.4 롱테일 이론(Long-Tail Theory)
2. 빅데이터 분석 주제와 시스템 기획
2.1 빅데이터 분석 주제 도출
2.2 구축하지 않고 시스템 만들기
2.3 분석 시스템 개념 설계
3. 빅데이터 수집과 저장
3.1 분석을 먼저 생각해야 하는 이유
3.2 빅데이터 수집
3.3 빅데이터 저장
3.4 데이터 품질
3.5 데이터 수집 인터페이스와 인공지능
4. 빅데이터 처리
4.1 분석을 위한 데이터와 데이터 처리
4.2 데이터마트와 분석지표
4.3 다차원 모델링의 적용
4.4 분석 모형을 위한 데이터 준비
4.5 HDFS에서의 데이터 처리
4.6 실시간, 배치, 스트리밍
5. 빅데이터 분석 제품과 변화하는 기술
5.1 분석 제품의 선택
5.2 제품의 대체와 변화
5.3 인공지능에 인한 제품의 변화
제1권을 마무리하며