★ 사이파이를 활용해서 수치 계산과 데이터 분석 및 예측하기
사이파이는 통계, 신호 처리, 이미지 처리 및 함수 최적화에 사용되는 파이썬 데이터 과학 핵심 라이브러리다. 이 책은 파이썬을 사용하는 과학자를 대상으로 사이파이의 기본 사용법과 관련 라이브러리를 다룰 뿐만 아니라 실제 현업에서 사용하는 읽기 쉬운 우아한 코드를 제공한다. 유전자 발현 분석, 생존율・사망률 예측, 이미지 분석・필터링・등록, 실전 레이더 전파 데이터 분석・정보 변형, 스트리밍데이터셋 처리 문제를 사이파이, 넘파이, 팬더스, 사이킷-이미지 등으로 해결한다.

이 책의 주목표는 독자가 넘파이와사이파이 라이브러리를 효율적으로 다루는 것이다. 사이파
이 라이브러리를 사용하여 효율적으로 과학적 문제를 분석하면서, 우아한 코드를 작성하는 노
력이 가치 있다는 느낌이 들길 바란다.

 

★ 사이파이를 활용해서 수치 계산과 데이터 분석 및 예측하기
사이파이는 통계, 신호 처리, 이미지 처리 및 함수 최적화에 사용되는 파이썬 데이터 과학 핵심 라이브러리다. 이 책은 파이썬을 사용하는 과학자를 대상으로 사이파이의 기본 사용법과 관련 라이브러리를 다룰 뿐만 아니라 실제 현업에서 사용하는 읽기 쉬운 우아한 코드를 제공한다. 유전자 발현 분석, 생존율?사망률 예측, 이미지 분석.필터링.등록, 실전 레이더 전파 데이터 분석.정보 변형, 스트리밍 데이터셋 처리 문제를 사이파이, 넘파이, 팬더스, 사이킷-이미지 등으로 해결한다.

이 책의 주목표는 독자가 넘파이와 사이파이 라이브러리를 효율적으로 다루는 것이다. 사이파이 라이브러리를 사용하여 효율적으로 과학적 문제를 분석하면서, 우아한 코드를 작성하는 노력이 가치 있다는 느낌이 들길 바란다.

★ 왜 ‘사이파이’인가?
넘파이와 사이파이 라이브러리는 파이썬 과학 생태계의 핵심이다. 사이파이 소프트웨어 라이러리는 통계, 신호 처리, 이미지 처리 및 함수 최적화와 같은 과학 데이터 처리에 사용하는 일련의 함수를 제공한다. 사이파이는 파이썬 숫자 배열 계산 라이브러리인 넘파이를 기반으로 한다. 지난 몇 년 동안 넘파이와 사이파이 기반 앱과 라이브러리 생태계는 천문학, 생물학, 기상학 및 기후 과학, 재료 과학 등 다양한 분야에 걸쳐 급격히 성장해왔다.

★ 이 책에서 다루는 수학, 과학, 엔지니어링 주요 패키지 소개
- 사이파이(SciPy) : 신호의 처리, 통합 및 최적화, 그리고 통계와 같은 분야에 사용되는 효율적인 수치 알고리즘의 모음이다. 사용자 친화적인 인터페이스를 제공한다.
- 넘파이(NumPy) : 파이썬에서 기초 과학을 다루는 넘파이는 효율적인 수치 배열과 선형대수, 난수 및 푸리에 변환을 포함한 광범위한 수치 계산을 제공한다. 넘파이의 가장 강력한 기능은 N 차원 배열(ndarry)이다. 이러한 자료 구조는 숫자를 효율적으로 저장하고, 다차원의 그리드(grid )를 정의한다.
- 맷플롯립(Matplotlib) : 2차원 및 기본적인 3차원 그래프를 그리는 강력한 패키지다.
- 아이파이썬(IPython) : 데이터와 테스트 로직을 적용하여 그 결과를 쉽고 빠르게 얻을 수 있는 파이썬의 대화식 인터프리터 인터페이스다.
- 주피터 노트북(Jupyter notebook) : 브라우저에서 코드, 텍스트, 수식 및 대화식 위젯을 결합한 풍부한 문서를 만들 수 있다. 실제로 이 책에서 사용하는 코드를 주피터 노트북으로 변환하여 실행했다(이 책의 모든 예제가 올바르게 작동한다). 주피턴는 아이파이썬의 확장으로 시작했지만, 현재는 사이썬(Cython), 줄리아(Julia), R, 옥타브(Octave), 배시(Bash), 펄(Perl ), 루비(Ruby)를 비롯한 여러 언어를 지원한다.
- 팬더스(pandas) : 사용하기 쉬운 패키지 형태로 칼럼 형식의 자료 구조를 빠르게 제공한다. 특히 테이블 혹은 관계형 데이터베이스와 같이 레이블이 있는 데이터셋을 처리하고, 시계열(time series ) 데이터와 슬라이딩 윈도우(sliding window)를 관리하는 데 적합하다. 또한, 데이터 파싱, 정리, 수집하고, 그래프를 그리는 데 편리한 데이터 도구를 제공한다.
- 사이킷-런(scikit-learn) : 머신러닝 알고리즘용 통합 인터페이스를 제공한다.
- 사이킷-이미지(scikit-image) : 사이파이 생태계와 완벽하게 통합하는 이미지 분석 도구를 제공한다.

★ 주요 내용
- 과학 계산에 활용되는 자료구조 넘파이 배열 사용하기
- 분위수 정규화를 사용하여 측정값이 특정 분포에 맞는지 확인하기
- 시간 또는 공간 데이터를 주파수 도메인 데이터로 고속 푸리에 변환하기
- 사이파이 희소 모듈로 이미지 분할화와 희소행렬 문제 해결하기
- 사이파이 패키지를 사용하여 선형대수학 다루기
- 사이파이의 최적화 모듈로 이미지를 정렬하고 등록하기
- 파이썬 데이터 스트리밍 요소와 Toolz 라이브러리로 대규모 데이터셋 처리하기
“각 장에서 다루는 도메인 지식을 담은 실전 예제는 이 책의 최고 장점입니다. 예를 들어 1장에서는 다양한 유전자를 다룰 때 샘플을 step-by-step 스타일로 정규화하는 실전 예제를 보여줍니다. 코딩에 익숙지 않은 연구원분들께 이 책을 적극적으로 추천합니다.”
Nara Lee Chon, 콜로라도주립대학교 계산화학연구실

“『우아한 사이파이』는 신호와 이미지 처리, 네트워크 과학, 생물정보학의 고전 알고리즘을 우아하게 구현한다.”
라브바슈니, 일리노이 대학교 연구원

“이 책은 클라우드 시대에 맞춰 소프트웨어 배포를 근본적으로 바꾸는 데 중요한 기술을 설명합니다.”
그렉윌슨, 데이터캠프 커리큘럼 책임

CHAPTER 0 들어가며
0.1 왜 ‘사이파이’인가?
0.2 사이파이 생태계
0.3 대혼란 : 파이썬 2 vs 파이썬 3
0.4 사이파이 생태계와 커뮤니티
0.5 도움받기
0.6 파이썬 설치하기
0.7 사이파이의 세계로

CHAPTER 1 우아한 넘파이 : 파이썬 과학 기초
1.1 유전자 발현 데이터
1.2 넘파이 N차원 배열
__1.2.1 왜 파이썬 리스트 대신 ndarray를 사용할까?
__1.2.2 벡터화
__1.2.3 브로드캐스팅
1.3 유전자 발현 데이터셋
__1.3.1 팬더스로 데이터 읽기
1.4 정규화
__1.4.1 샘플 간 비교
__1.4.2 샘플 간 공간 크기 정규화
__1.4.3 유전자 간 비교
__1.4.4 샘플과 유전자의 정규화 : RPKM
1.5 정리

CHAPTER 2 넘파이와 사이파이의 분위수 정규화
2.1 데이터 가져오기
2.2 개체 간 유전자 발현 분포의 차이
2.3 이중 군집화
2.4 군집 시각화
2.5 생존율 예측
__2.5.1 추가 작업 : TCGA의 환자 군집 사용하기
__2.5.2 추가 작업 : TCGA 군집 재현하기

CHAPTER 3 이미지 지역망 : ndimage
3.1 이미지는 넘파이 배열일 뿐이다
__3.1.1 연습문제 : 격자 오버레이 추가
3.2 신호 처리 필터
3.3 이미지 필터링(2차원 필터)
3.4 제네릭 필터 : 근접값의 임의 함수
__3.4.1 연습문제 : 콘웨이의 생명 게임
__3.4.2 연습문제 : 소벨 필터 코드 리팩토링
3.5 그래프와 NetworkX 라이브러리
__3.5.1 연습문제 : 사이파이 곡선 맞춤
3.6 지역 근접 그래프
3.7 우아한 ndimage : 지역 근접 그래프에서 호랑이 추출하기
3.8 평균 색상 분할

CHAPTER 4 주파수와 고속 푸리에 변환
4.1 주파수
4.2 새소리 스펙트로그램
4.3 푸리에 변환 역사
4.4 푸리에 변환 구현
4.5 이산 푸리에 변환 길이 선택하기
4.6 기타 이산 푸리에 변환 개념
__4.6.1 주파수와 순서
__4.6.2 윈도윙
4.7 실전 레이더 데이터 분석
__4.7.1 주파수 영역의 신호 속성
__4.7.2 윈도우 적용하기
__4.7.3 레이더 이미지
__4.7.4 기타 고속 푸리에 변환 응용
__4.7.5 기타 참고 자료
__4.7.6 연습문제 : 이미지 합성곱

CHAPTER 5 희소행렬과 혼동행렬
5.1 혼동행렬
__5.1.1 연습문제 : 혼동행렬의 계산 복잡성
__5.1.2 연습문제 : 혼동행렬을 계산하는 대체 알고리즘
__5.1.3 연습문제 : 다중 혼동행렬 계산
5.2 scipy.sparse 데이터 형식
__5.2.1 COO 형식
__5.2.2 연습문제 : COO 형식 표현
__5.2.3 CSR 형식
5.3 희소행렬 애플리케이션 : 이미지 변환
__5.3.1 연습문제 : 이미지 회전
5.4 (다시) 혼동행렬
__5.4.1 연습문제 : 메모리 사용량 줄이기
5.5 분할과 혼동행렬
5.6 정보 이론 요약
__5.6.1 연습문제 : 조건부 엔트로피 계산
5.7 분할의 정보 이론 : 정보 변형
5.8 희소행렬을 위한 넘파이 배열
5.9 정보 변형 사용하기

CHAPTER 6 사이파이 선형대수학
6.1 선형대수학 기초
6.2 그래프의 라플라시안 행렬
__6.2.1 연습문제 : 회전 행렬
6.3 뇌 데이터와 라플라시안
__6.3.1 연습문제 : 유사도 보기
__6.3.2 도전 과제 : 희소행렬과 선형대수학
6.4 페이지랭크 알고리즘 : 평판과 중요도를 위한 선형대수학
__6.4.1 연습문제 : 댕글링(Dangling) 노드 처리
__6.4.2 연습문제 : 함수 비교
6.5 마치며

CHAPTER 7 사이파이 함수 최적화
7.1 사이파이 최적화 모듈 : scipy.optimize
__7.1.1 예제 : 이미지 이동 최적화 계산
7.2 이미지 등록 최적화
7.3 국소 최저치 피하기와 배싱 호핑
__7.3.1 연습문제 : 정렬 함수 수정
7.4 무엇이 최선인가? : 적합한 목적함수 선택

CHAPTER 8 빅데이터와 Toolz 라이브러리
8.1 스트리밍과 yield
8.2 Toolz 스트리밍 라이브러리 소개
8.3 k-mer 계산과 오류 수정
8.4 커링 : 스트리밍의 묘미
8.5 k-mer 계산 계속하기
__8.5.1 연습문제 : 스트리밍 데이터와 PCA
8.6 게놈의 마르코프 모델
__8.6.1 연습문제 : 온라인 압축풀기

에필로그
부록 : 연습문제 정답