2020년 세종도서 학술부문 선정도서

 

스플렁크를 활용한 보안 빅데이터 분석 플랫폼 구축 전 과정을 실제 현장에서의 경험을 토대로 생생하게 풀어낸 실무형 가이드북!

글로벌 빅데이터 솔루션인 스플렁크를 활용해 보안 분야의 업무적 특성을 고려한 빅데이터 분석 플랫폼을 구축하는 체계적 절차와 가이드를 제공하는 책이다.
보안 빅데이터 분석 플랫폼을 구축하기 위해 담당자가 사전에 어떤 것을 준비해야 하는지, 구축은 어떤 과정을 거쳐 진행해야 하는지, 구축 완료 후 안정적인 운영을 위해 어떤 것들을 고려해야 하는지를 구체적으로 살펴본다. 실제 플랫폼 구축 현장에서 직접 보고 느꼈던 경험을 바탕으로 구축 과정을 거치면서 담당자가 챙겨야 할 고려사항을 하나하나 짚어낸다.
이 책을 처음부터 끝까지 천천히 읽어보며 직접 따라 해 본다면 스플렁크에 대한 기본적인 활용법과 함께 마치 보안 빅데이터 분석 플랫폼 구축 실무를 직접 해보는 것과 같은 경험을 할 수 있을 것이다.

이 책은 스플렁크를 활용한 보안 빅데이터 분석 플랫폼 및 상세 구축 과정을 정의하는 개요를 다루는 부분과 플랫폼 구축 전/후 과정을 예시와 함께 구체적으로 설명하는 플랫폼 구축 실무 부분, 마지막으로 입문자를 위한 퀵 스타트 가이드로 나뉘어 있다.

각 장의 구성은 다음과 같다. 1장. ‘개요’에서는 이 책의 핵심 키워드인 ‘보안 빅데이터 분석’, ‘플랫폼’, ‘구축 가이드’에 대해 스스로 질문하며 해답을 고민했던 여정을 함께 공유하고, 왜 이 여정의 주요 파트너로 ‘스플렁크’를 선택했는지 살펴본다.
2장. ‘보안 빅데이터 분석 플랫폼 구축 워크플로우’에서는 플랫폼 구축을 체계적으로 수행하기 위한 길잡이가 돼줄 워크플로우를 소개한다. 또한 보안 빅데이터 분석 플랫폼을 구축하기 위한 실무적 절차와 고려사항을 총 5단계로 구분해 설명하고 각 단계별 정의 및 담당자가 숙지해야 할 주요 활동에 대해 알아본다.
3장. ‘Phase 1 ？ 구축 전 사전 준비’에서는 보안 빅데이터 분석 플랫폼을 본격적으로 구축하기 위한 첫 단추인 사전 준비 단계에 대해 소개하고, 담당자가 수행해야 할 주요 활동에 대해 실무적인 예시를 통해 설명한다.
4장. ‘Phase 2 ？ 플랫폼 인프라 구성’에서는 플랫폼 구축 담당자가 주로 채택하는 3가지 플랫폼 인프라 환경 구성 절차에 대해 스플렁크 인스턴스 설치부터 주요 설정 파일 적용 가이드까지 상세하게 알아보고, 빅데이터 분석 플랫폼 구축 현장에서 발생하는 주요 상황별 설정 변경 가이드도 함께 살펴본다.
5장. ‘Phase 3 ？ 플랫폼 콘텐츠 구현 및 활용’에서는 인프라 구성을 완료한 보안 빅데이터 분석 플랫폼에 탑재할 수 있는 콘텐츠는 주로 어떤 것들이 있는지 알아보고, 이를 구현 및 적용해 업무에 활용하기 위한 방법과 주요 고려사항에 대해 살펴본다.
6장. ‘Phase 4 ？ 스플렁크 앱 기반 플랫폼 확장’에서는 플랫폼의 활용 범위를 확장시켜줄 스플렁크의 대표적인 보안분야 상용 앱과 플랫폼 구축 및 활용 시 사용자가 주로 설치하는 무료 앱에 대한 설치 및 설정 방법을 알아본다.
7장. ‘Phase 5 ？ 구축 후 운영 환경 최적화’에서는 플랫폼이 안정적으로 운영되고 있는지 체계적으로 점검하기 위한 절차에 대해 알아본다. 또한 비정상 항목이 발견됐을 때 조치하기 위한 가이드도 함께 살펴본다.
8장. ‘주요 장애 유형별 대응 가이드’에서는 스플렁크를 활용한 보안 빅데이터 분석 플랫폼에서 발생할 수 있는 주요 장애는 어떤 것들이 있는지 알아보고, 플랫폼의 주요 구성 영역별로 분류해 신속하게 원인을 파악하고 조치할 수 있는 방법에 대해 살펴본다.
9장. ‘플랫폼 증설 가이드’에서는 플랫폼이 실제 운영중인 상태에서 진행돼야 하는 증설 작업의 특성을 감안해 담당자가 기본적으로 고려해야 할 사항들에 대해 살펴보고, 작업 절차에 대해 자세히 알아본다.
10장. ‘입문자를 위한 퀵 스타트 가이드’에서는 보안 빅데이터 분석 플랫폼 구축을 직접 경험해 보고 싶은 대학생 및 일반인, 사회에 첫발을 내디딘 신입 엔지니어, 스플렁크를 제대로 활용해 보고 싶은 기업 사용자들을 위해 쉽게 따라 해 보며 스플렁크를 느껴볼 수 있는 입문 가이드를 제공한다.

1장. 개요
1.1 왜 데이터 분석이 필요한가?
1.1.1 보안위협의 고도화 및 지능화
1.1.2 보안 담당자의 한계 봉착
1.1.3 기술 발전에 따른 보안 트렌드의 변화
1.2 왜 플랫폼으로 구축해야 하는가?
1.2.1 보안 데이터가 지니는 고유의 특성
1.2.2 보안 빅데이터 분석 플랫폼 정의
1.2.3 플랫폼의 진정한 힘: 네트워크 효과와 교차 네트워크 효과
1.3 왜 구축 가이드가 중요한가?
1.3.1 플랫폼 구축의 현실: Case By Case
1.3.2 성공적 구축은 성공적 활용의 전제조건
1.3.3 구축 가이드가 제공할 가치: 품질, 시간, 그리고 시너지
1.4 왜 스플렁크인가?

2장. 보안 빅데이터 분석 플랫폼 구축 워크플로우
2.1 워크플로우 개요
2.2 Phase 1: 구축 전 사전 준비
2.2.1 Why: 플랫폼 구축 목적 명시
2.2.2 What: 플랫폼 기본 구성 요소 정의
2.2.3 How: 주요 구성 요소별 플랫폼 구현 방안 수립
2.3 Phase 2: 플랫폼 인프라 구성
2.3.1 구성 기준 정의
2.3.2 스플렁크 인스턴스 설치
2.3.3 주요 구성별 설정 적용
2.3.4 주요 구성 변경 요건별 설정 변경 가이드
2.4 Phase 3: 플랫폼 콘텐츠 구현 및 활용
2.4.1 데이터 검색
2.4.2 데이터 분석
2.4.3 시나리오 구현 및 적용
2.4.4 대시보드 구성 및 활용
2.4.5 콘텐츠 강화를 위한 툴과 팁
2.5 Phase 4: 스플렁크 앱 기반 플랫폼 확장
2.5.1 상용 앱
2.5.2 무료 앱
2.6 Phase 5: 구축 후 운영 환경 최적화
2.6.1 플랫폼 운영 현황 점검 항목 정의
2.6.2 점검 항목별 현황 점검 수행
2.6.3 정상 여부 확인 및 비정상 항목 조치
2.6.4 플랫폼 구성 요소별 운영 효율성 강화 가이드
2.7 워크플로우 호환성: 꼭 스플렁크여야만 하는가

3장. Phase 1: 구축 전 사전 준비
3.1 Why: 플랫폼 구축 목적 명시
3.1.1 업무 개선 목표 달성
3.1.2 IT 목표 달성
3.1.3 기타 요건
3.2 What: 플랫폼 기본 구성 요소 정의
3.2.1 구축 환경
3.2.2 데이터 수집 및 전송
3.2.3 데이터 저장
3.2.4 데이터 검색
3.2.5 데이터 분석 및 활용
3.2.6 데이터 시각화
3.2.7 플랫폼 운영 및 관리
3.3 How: 주요 구성 요소별 플랫폼 구현 방안 수립
3.3.1 구축 환경 정의
3.3.2 데이터 수집 및 전송 방안
3.3.3 데이터 저장 방안
3.3.4 데이터 검색 방안
3.3.5 데이터 분석 및 활용 방안
3.3.6 데이터 시각화 방안
3.3.7 플랫폼 운영 및 관리 방안

4장. Phase 2: 플랫폼 인프라 구성
4.1 사전 공지사항
4.2 시뮬레이션 환경 구성 가이드
4.3 가상 데이터 수집 설정
4.4 단일 서버 환경 구성
4.4.1 구성 기준 정의
4.4.2 스플렁크 엔터프라이즈 설치 및 설정
4.4.3 데이터 수집 및 전송 설정
스플렁크 엔터프라이즈 라이선스 적용
스플렁크 엔터프라이즈에서의 데이터 수집 설정
4.4.4 데이터 저장 설정
4.4.5 데이터 검색 설정
4.4.6 스플렁크 유니버설 포워더 설치 및 설정
스플렁크 유니버설 포워더 설치
파일 및 디렉터리 모니터링 설정
로그 이벤트 속성 설정
로그 이벤트 전송 설정
4.4.7 플랫폼 인프라 구성 후 정상 동작 확인
4.5 복수 서버 환경 구성
4.5.1 구성 기준 정의
4.5.2 스플렁크 엔터프라이즈 인스턴스 설치
4.5.3 데이터 수집 및 전송 설정
스플렁크 엔터프라이즈 라이선스 슬레이브 적용
로그 이벤트 수신 설정
로그 이벤트 전송 설정
로그 이벤트 필터링 설정
로그 이벤트 마스킹 설정
4.5.4 데이터 저장 설정
스플렁크 엔터프라이즈 라이선스 슬레이브 적용
신규 인덱스 생성
전송 데이터의 대한 저장 설정
4.5.5 데이터 검색 설정
스플렁크 엔터프라이즈 라이선스 마스터 설정
검색 피어 등록
검색 데이터 필드 추출
4.5.6 스플렁크 유니버설 포워더 설치 및 설정
4.5.7 플랫폼 인프라 구성 후 정상 동작 확인
4.6 클러스터링 기반 분산 처리 환경 구성
4.6.1 구성 기준 정의
4.6.2 스플렁크 엔터프라이즈 인스턴스 설치
4.6.3 라이선스 마스터 & 클러스터 마스터 설정
라이선스 마스터 설정
클러스터 마스터 설정
인덱스 추가 생성 및 배포 설정
4.6.4 데이터 수집 및 전송 설정
스플렁크 엔터프라이즈 라이선스 슬레이브 적용로그 이벤트 수신 설정
로그 이벤트 전송 설정
로그 이벤트 필터링 & 마스킹 설정
4.6.5 데이터 저장 설정
스플렁크 엔터프라이즈 라이선스 슬레이브 적용
인덱서 피어 노드 활성화
인덱스 생성 정보에 대한 정상 배포 확인
전송 데이터에 대한 저장 설정
4.6.6 데이터 검색 설정
스플렁크 엔터프라이즈 라이선스 슬레이브 적용
검색 피어 등록
검색 헤드 클러스터링 설정
검색 데이터 필드 추출
4.6.7 스플렁크 앱 배포 설정
스플렁크 엔터프라이즈 라이선스 슬레이브 적용
검색 헤드 클러스터 정보 등록
검색 헤드 클러스터 구성원 대상 배포 정보 수신 설정
배포 대상 앱 업로드
배포 대상 앱을 검색 헤드 클러스터 구성원에 배포
검색 헤드 클러스터 구성원에서 배포 앱 확인160
4.6.8 모니터링 콘솔 설정
검색 피어 추가 적용
분산 모드 전환 적용
4.6.9 스플렁크 유니버설 포워더 설치 및 설정
4.6.10 플랫폼 인프라 구성 후 정상 동작 확인
4.7 주요 구성 변경 요건별 설정 가이드
4.7.1 기존 수집 대상의 종류/용량 변경
4.7.2 기존 수집 방식과 동일한 신규 수집 대상 추가
4.7.3 수집 데이터 저장 기간 설정 및 변경

5장. Phase 3: 플랫폼 콘텐츠 구현 및 적용
5.1 사전 공지사항
5.2 데이터 검색
5.2.1 키워드 검색
사용자 요건 정의
스플렁크를 통한 구현 예시
실무 활용 가이드
5.2.2 이벤트 추이 검색
사용자 요건 정의
스플렁크를 통한 구현 예시
실무 활용 가이드
5.2.3 정규표현식을 활용한 고급 검색
사용자 요건 정의
스플렁크를 통한 구현 예시
실무 활용 가이드
5.2.4 검색 결과 저장 및 공유
사용자 요건 정의
스플렁크를 통한 구현 예시
실무 활용 가이드
5.3 데이터 분석
5.3.1 로그 이벤트에 대한 시계열 상관 분석
사용자 요건 정의
스플렁크를 통한 구현 예시
실무 활용 가이드
5.3.2 통계 함수를 활용한 분석 결과 구체화
사용자 요건 정의
스플렁크를 통한 구현 예시
실무 활용 가이드
5.3.3 차트 함수를 활용한 분석 결과 시각화
사용자 요건 정의
스플렁크를 통한 구현 예시
실무 활용 가이드
5.4 시나리오 구현 및 적용
5.4.1 사용자 요건 정의
5.4.2 스플렁크를 통한 구현 예시
5.4.3 실무 활용 가이드
5.5 대시보드 구성 및 활용
5.5.1 사용자 요건 정의
5.5.2 스플렁크를 통한 구현 예시
5.5.3 실무 활용 가이드
5.6 콘텐츠 강화를 위한 툴과 팁
5.6.1 경고
5.6.2 룩업
5.6.3 KV 스토어
5.6.4 Summary Index
5.6.5 보고서 가속화
5.6.6 데이터 모델 가속화

6장. Phase 4: 스플렁크 앱 기반 플랫폼 확장
6.1 Splunk Enterprise Security App
6.1.1 보안 포스처(Security Posture)
6.1.2 인시던트 검토(Incident Review)
6.1.3 조사 케이스(Investigation)
6.1.4 글래스 테이블(Glass Table)
6.1.5 보안 인텔리전스(Security Intelligence)
6.1.6 보안 도메인(Security Domain)
6.1.7 워크플로우 기반 보안 위협 대응 자동화(Adaptive Response)
6.2 주요 무료 앱
6.2.1 Splunk Add-on for *nix
6.2.2 Splunk DB Connect
6.2.3 Lookup Editor
6.2.4 Splunk Dashboard Examples
6.2.5 Timeline
6.2.6 보안 솔루션 관련 앱에 대한 설치 및 활용
6.2.7 Splunk Machine Learning Toolkit
쇼케이스 예시: 수치 예측(Predict Numeric Fields)
쇼케이스 예시: 범주 분류(Predict Categorical Fields)
쇼케이스 예시: 수치형 이상치 탐지(Detect Numeric Outliers)
쇼케이스 예시: 범주형 이상치 탐지(Detect Categorical Outliers)
쇼케이스 예시: 시계열 예측(Forecast Time Series)
쇼케이스 예시: 수치 데이터 군집화(Cluster Numeric Events)

7장. Phase 5: 구축 후 운영 환경 최적화
7.1 플랫폼 운영 현황 점검 항목 정의
7.2 데이터 수집 및 전송 영역 점검
7.2.1 Event Processing Queue 점검
점검 개요
점검 방법
정상 여부 판단 기준
7.2.2 필드 추출 정합성 유무 점검
7.2.3 데이터 수집 누락 여부 점검
7.2.4 데이터 비정상 수집 점검
7.2.5 가용성 데이터 정상 수집 여부 점검
7.2.6 Splunk DB Connect 에러 발생 여부 점검
7.3 데이터 저장 및 복제 영역 점검
7.3.1 인덱서 피어 노드 정상동작 여부 점검
7.3.2 인덱서 클러스터링 정상동작 여부 점검
7.3.3 버킷 오류 존재 유무 점검
7.3.4 버킷 저장 공간 상태 확인
7.3.5 인덱스별 데이터 보관주기 확인
7.4 데이터 검색 및 배포 영역 점검
7.4.1 Saved Search 구동 현황 점검
7.4.2 메모리 과다 사용 검색 점검
7.4.3 장시간 동작하는 검색 쿼리 점검
7.4.4 검색 헤드 클러스터링 상태 점검
7.4.5 캡틴 선출 내역 점검
7.4.6 KV 스토어 상태 점검
7.4.7 룩업 파일 활용 현황 점검
7.5 플랫폼 운영 및 관리 영역 점검
7.5.1 스플렁크 인스턴스 현황 확인
7.5.2 스플렁크 인스턴스 리소스 사용량 점검
7.5.3 스플렁크 내부 로그 내 ERROR/WARN 메시지 분석
7.5.4 플랫폼 사용 이력 점검
7.5.5 사용자 접근 통제 관리
7.5.6 스플렁크 라이선스 변동량 점검
7.6 플랫폼 구성 요소별 운영 효율성 강화 가이드
7.6.1 데이터 수집 및 전송 영역
7.6.2 데이터 저장 및 복제 영역
7.6.3 데이터 검색 및 배포 영역
7.6.4 플랫폼 운영 및 관리 영역

8장. 주요 장애 유형별 대응 가이드
8.1 장애 대응의 어려움과 신속한 조치의 중요성
8.2 데이터 수집 및 전송 영역
8.2.1 수집 데이터 파싱 오류
8.2.2 데이터 수집 누락
8.2.3 DB Connection fail 오류
8.2.4 Line Breaking Error
8.2.5 Timestamp Parsing Error
8.2.6 Max Events Error
8.2.7 간헐적 로그 미수집 및 스플렁크 인덱서 서버로의 미전송 오류
8.3 데이터 저장 및 복제 영역
8.3.1 스플렁크 인덱서 피어 다운 지속 발생
8.3.2 초과 버킷 발생
8.3.3 인덱스 보관주기 초과로 인한 데이터 저장 실패
8.3.4 데이터 복제 비정상 동작으로 인한 데이터 검색 실패
8.3.5 인덱서 클러스터링 오류
8.3.6 스플렁크 인덱서 서버의 CPU/MEMORY 과부하 현상 지속
8.4 데이터 검색 및 배포 영역
8.4.1 라이선스 마스터 또는 클러스터 마스터와의 연결 실패
8.4.2 배포 서버를 통한 배포 수행 시 오류 발생
8.5 플랫폼 운영 및 관리 영역
8.5.1 실시간 검색 과다로 인한 인덱싱 성능 저하
8.5.2 Saved Search 실패
8.5.3 대시보드 오류
8.5.4 경고 및 보고서 생성 실패
8.5.5 룩업 데이터 조회 시 검색 결과 미표시
8.6 장애 조치 시 참고사항
8.6.1 Splunk Answers 활용
8.6.2 Splunk Support Case Open
8.6.3 Community Based Support - Blog & Article

9장. 플랫폼 증설 가이드
9.1 스플렁크 라이선스 증설 시 중점 고려사항
9.1.1 기존/신규 라이선스 통합 적용 및 확인
9.1.2 스플렁크 라이선스 증설 후 추가 고려사항
9.2 서버 증설 시 중점 고려사항
9.2.1 사전 체크리스트 작성 및 확인
9.2.2 서버 증설 예시: 스플렁크 헤비 포워더 서버
9.2.3 서버 증설 예시: 스플렁크 인덱서 서버
9.2.4 서버 증설 예시: 스플렁크 검색 헤드 서버
9.2.5 서버 증설 후 추가 고려사항

10장. 입문자를 위한 퀵 스타트 가이드
10.1 스플렁크 앱 설치 및 환경 구성
10.1.1 Splunk Enterprise 7.2.4 다운로드하기
10.1.2 Splunk Enterprise 7.2.4 설치
10.1.3 Splunk Enterprise 7.2.4 로그인 및 실행 상태 확인
10.2 데이터 수집/저장 설정 및 적용
10.2.1 신규 인덱스 생성
10.2.2 스크립트를 활용한 데이터 수집 설정
10.2.3 로그 이벤트 병합 해제 설정
10.2.4 변경된 설정 적용을 위한 스플렁크 인스턴스 재시작
10.3 데이터 검색 및 분석 결과 시각화
10.3.1 필드 추출
10.3.2 데이터 검색 정상동작 여부 확인
10.3.3 데이터 시각화 지원 앱 설치 및 설정