현업에서 필요했던 ‘진짜’ 머신러닝 이야기

머신러닝이라고 하면 보통 모델 개발과 알고리즘을 떠올리지만 실제로 프로덕션 환경에서 머신러닝을 운영할 때는 그 외에도 고려할 것이 많습니다. 머신러닝 시스템을 이루고 있는 데이터, 피처, 모델 개발·평가·배포, 모니터링, 인프라 등을 전체적인 관점에서 고려해야 합니다. 프로덕션용 머신러닝은 대부분 비즈니스를 중심으로 하는 만큼 비즈니스 문제에 따른 요구 사항과 이해관계자 또한 중요합니다.

이 책은 떠오르는 MLOps 분야의 대표 강의인 스탠퍼드 ‘CS329S: 머신러닝 시스템 설계(Machine Learning Systems Design)’를 기반으로 합니다. 저자인 칩 후옌은 넷플릭스부터 스타트업까지 다양한 기업에서 머신러닝을 배포하고 운영한 경험을 바탕으로, 여러분이 그동안 궁금했지만 답을 찾기 어려웠을 법한 질문에 대해 여러 가지 접근법을 제시합니다. 특정 도구 사용법보다는 각 머신러닝 기법의 개념 및 장단점과 트레이드오프에 집중하며, 더 필요한 정보는 바로 찾아볼 수 있도록 풍부한 참고 자료 링크를 제공합니다.

대상 독자
머신러닝 관련 실무자: 머신러닝 엔지니어, 데이터 과학자, 머신러닝 플랫폼 엔지니어, 엔지니어링 관리자 등
도구 개발자: 머신러닝 프로덕션에서 서비스가 부족한 영역을 찾아내 생태계에 맞는 도구를 만들어 넣을 방안을 파악하려는 경우
구직자 및 학생: 머신러닝 관련 직무로 취업하려는 경우
기술 및 비즈니스 리더: 제품 및 비즈니스 프로세스를 개선하기 위해 머신러닝 솔루션 채택을 고려하는 경우

장별 주요 내용
[1장 머신러닝 시스템 개요]
다양한 머신러닝 유스 케이스를 살펴보면서 머신러닝을 적용하기에 적합한 경우와 그렇지 않은 경우를 논의합니다. 프로덕션용 머신러닝을 연구용 머신러닝 및 전통적인 소프트웨어와 비교해봅니다.

[2장 머신러닝 시스템 설계 소개]
비즈니스 목적에 따라 시스템 요구 사항을 정하고, 이를 만족하는 머신러닝 시스템을 설계하기 위한 반복 프로세스를 살펴봅니다. 머신러닝 문제를 구조화하는 방법을 논의합니다.

[3장 데이터 엔지니어링 기초]
머신러닝 프로젝트에서 사용하는 다양한 데이터의 소스와 데이터를 저장하는 포맷을 살펴봅니다. 데이터 스토리지 엔진과 주요 처리 유형, 프로세스 간에 데이터를 전달하는 다양한 모드를 알아봅니다.

[4장 훈련 데이터]
양질의 훈련 데이터를 얻는 기술을 살펴봅니다. 다양한 샘플링 기술을 알아본 뒤 레이블 다중성과 클래스 불균형을 비롯해 훈련 데이터를 생성할 때 흔히 맞닥뜨리는 문제를 논의합니다.

[5장 피처 엔지니어링]
피처 엔지니어링 기법과 주요 고려 사항을 살펴봅니다. 데이터 누수를 감지하고 방지하는 방법을 알아보고 좋은 피처를 설계하는 방법을 논의합니다.

[6장 모델 개발과 오프라인 평가]
작업에 가장 적합한 알고리즘을 선택할 때 유용한 팁을 살펴본 뒤 디버깅, 실험 추적과 버전 관리, 분산 학습, 오토ML 등 모델 개발의 다양한 측면을 알아봅니다.

[7장 모델 배포와 예측 서비스]
머신러닝 배포를 둘러싼 통념을 살펴봅니다. 온라인 예측과 배치 예측을 알아본 뒤 다양한 모델 압축 기술을 살펴봅니다. 에지 디바이스와 클라우드에서 모델을 배포하는 방법을 논의합니다.

[8장 데이터 분포 시프트와 모니터링]
프로덕션에 배포한 머신러닝 모델이 실패하는 이유를 논의합니다. 연구와 실무 양쪽에서 많은 논의가 이루어지고 있는 데이터 분포 시프트 문제를 살펴봅니다.

[9장 연속 학습과 프로덕션 테스트]
데이터 분포 시프트에 적응하기 위해 머신러닝 모델을 업데이트하는 방법을 살펴봅니다. 연속 학습이 무엇이며 어떤 어려움이 있는지 알아보고, 모델 재훈련 빈도와 프로덕션 테스트를 논의합니다.

[10장 MLOps를 위한 인프라와 도구]
프로덕션 규모와 상황에 따라 머신러닝 시스템에 적합한 인프라를 설정하는 방법을 알아봅니다. 인프라를 구성하는 네 가지 레이어인 스토리지와 컴퓨팅, 자원 관리 도구, 머신러닝 플랫폼, 개발 환경을 논의합니다.

[11장 머신러닝의 인간적 측면]
머신러닝 모델의 확률론적 특성에 따라 사용자 경험이 어떻게 영향받는지 논의합니다. 한 시스템을 개발하는 구성원들이 효과적으로 협업하기 위한 조직 구조를 알아보고, 머신러닝 시스템이 사회 전체에 미치는 영향을 들여다봅니다.

추천사

요구 사항에 잘 들어맞는 머신러닝 시스템을 만들기 위해서는 단계마다 다양한 고민과 적절한 의사 결정이 필요합니다. 이 책은 그동안 소프트웨어 개발자, 데이터 과학자 및 엔지니어가 가려워했을 법한 바로 이 부분을 긁어줍니다. 저자인 칩 후옌은 학계와 산업계를 아우르는 폭넓으면서도 깊이 있는 활동을 통해 머신러닝 시스템 도입의 민주화에 크게 기여하고 있습니다. 이 책은 저자가 그동안 쌓은 경험과 지식을 기반으로 작성한 것으로, 처음이라면 누구나 고민할 법한 부분과 나중에야 깨닫게 될 법한 세부 사항을 시행착오 없이 습득할 수 있도록 해줍니다.
- 박찬성 (ML GDE 및 허깅페이스 펠로)

이 책을 한마디로 소개한다면 ‘MLOps에서 가장 중요한 요소를 다루는 실용적인 책’이라고 말하고 싶습니다. 장점은 머신러닝 시스템을 만들 때 고려해야 하는 모든 요소를 다룬다는 점입니다. 머신러닝 시스템이 무엇인지, 전통적인 소프트웨어 개발과 어떻게 다른지부터 시작해 비즈니스와 머신러닝의 목적을 다룹니다. 그동안 비즈니스 영역을 다루는 책은 거의 없었는데, 독자들이 머신러닝을 비즈니스 관점으로 생각해볼 수 있게 한 점이 매우 인상 깊습니다. 머신러닝 모델을 실제 비즈니스 모델에 적용하려는 분들에게 꼭 추천하고 싶습니다.
- 변성윤 (페이스북 MLOps KR 운영자)

머신러닝 엔지니어가 되기 위해 알아야 하는 정보는 무수히 많지만, 그중에서 가장 유의미한 정보를 찾기는 어렵습니다. 칩은 그 일을 훌륭히 해냈습니다. 프로덕션용 머신러닝을 깊이 고려하고 있다면, 머신러닝 시스템을 엔드-투-엔드로 설계하고 운영하는 방법에 관심이 있다면 이 책은 필수입니다.
- 로런스 모로니 (구글 AI 개발 지원 팀 리더)

칩의 지침서는 지금 당장 우리에게 필요한 책입니다. 전체 머신러닝 프로젝트를 원칙 기반으로 바라보는 책으로, 혼란한 머신러닝 생태계에서 지도와 나침반이 되어줍니다. 빅테크를 비롯한 회사
실무자라면 반드시 읽어보길 추천합니다. 이 책은 시스템을 배포, 관리, 모니터링하기 위한 모범 사례를 찾고 있는 데이터 리더에게도 도움이 됩니다.
- 야코포 탈리아부에 (코베오 AI 총괄)

기업에서 머신러닝 모델을 최대 효과로 구축, 배포, 확장하는 방법을 알려주는 단연 최고의 지침서입니다. 칩은 능수능란한 교육자이며, 그 지식의 폭과 깊이는 비할 데가 없습니다.
- 조시 윌스 (위브그리드 소프트웨어 엔지니어 및 전 슬랙 데이터 엔지니어링 총괄)

프로덕션용 머신러닝 시스템의 제1원리에 초점을 맞추는 최고의 자원 중 하나입니다. 빠르게 변하는 도구와 플랫폼 선택지를 탐색할 때 꼭 읽어야 할 책입니다.
- 고쿠 모한다스 (메이드 위드 ML 창립자)

책에서 드러나듯 칩은 머신러닝 시스템 분야의 세계 최상급 전문가이면서 뛰어난 저술가입니다. 이 책은 머신러닝 시스템을 학습하려는 분들에게 환상적인 자원입니다.
- 안드레이 쿠렌코프 (스탠퍼드 AI 연구소 박사 과정)

1장 머신러닝 시스템 개요
1.1 머신러닝을 사용해야 하는 경우
1.2 머신러닝 시스템 이해하기
1.3 정리

2장 머신러닝 시스템 설계 소개
2.1 비즈니스와 머신러닝의 목적
2.2 머신러닝 시스템 요구 사항
2.3 반복 프로세스
2.4 머신러닝 문제 구조화하기
2.5 지성 vs. 데이터
2.6 정리

3장 데이터 엔지니어링 기초
3.1 데이터 소스
3.2 데이터 포맷
3.3 데이터 모델
3.4 데이터 스토리지 엔진 및 처리
3.5 데이터플로 모드
3.6 배치 처리 vs. 스트림 처리
3.7 정리

4장 훈련 데이터
4.1 샘플링
4.2 레이블링
4.3 클래스 불균형 문제
4.4 데이터 증강
4.5 정리

5장 피처 엔지니어링
5.1 학습된 피처 vs. 엔지니어링된 피처
5.2 피처 엔지니어링 기법
5.3 데이터 누수
5.4 좋은 피처를 설계하는 방법
5.5 정리

6장 모델 개발과 오프라인 평가
6.1 모델 개발과 훈련
6.2 모델 오프라인 평가
6.3 정리

7장 모델 배포와 예측 서비스
7.1 머신러닝 배포에 대한 통념
7.2 배치 예측 vs. 온라인 예측
7.3 모델 압축
7.4 클라우드와 에지에서의 머신러닝
7.5 정리

8장 데이터 분포 시프트와 모니터링
8.1 머신러닝 시스템 장애 원인
8.2 데이터 분포 시프트
8.3 모니터링과 관찰 가능성
8.4 정리

9장 연속 학습과 프로덕션 테스트
9.1 연속 학습
9.2 프로덕션에서 테스트하기
9.3 정리

10장 MLOps를 위한 인프라와 도구
10.1 스토리지와 컴퓨팅
10.2 개발 환경
10.3 자원 관리
10.4 머신러닝 플랫폼
10.5 구축 vs. 구매
10.6 정리

11장 머신러닝의 인간적 측면
11.1 사용자 경험
11.2 팀 구조
11.3 책임 있는 AI
11.4 정리