장바구니 담기 close

장바구니에 상품을 담았습니다.

파이썬을 활용한 스파크 프로그래밍

파이썬을 활용한 스파크 프로그래밍

  • 제프리에이븐
  • |
  • 에이콘출판
  • |
  • 2019-08-27 출간
  • |
  • 388페이지
  • |
  • 188 X 235 mm
  • |
  • ISBN 9791161753287
판매가

30,000원

즉시할인가

27,000

카드할인

0원(즉시할인 0%)

적립금

1,500원 적립(5%적립)

배송비

무료배송

(제주/도서산간 배송 추가비용:3,000원)

추가혜택

네이버페이 무조건 1%적립+ 추가 1%적립

수량
+ -
총주문금액
27,000

※ 스프링제본 상품은 반품/교환/환불이 불가능하므로 신중하게 선택하여 주시기 바랍니다.

출판사서평




★ 이 책에서 다루는 내용 ★

■ 빅데이터 및 하둡 에코 시스템에서 스파크의 진화하는 역할 이해
■ 다양한 배포 모드를 사용해 스파크 클러스터 생성
■ 스파크 클러스터 및 응용 프로그램의 제어 및 최적화
■ 마스터 스파크 코어 RDD API 프로그래밍 기술
■ 공유 변수, RDD 스토리지 및 파티셔닝을 포함한 고급 APl 플랫폼 구성으로 스파크 루틴을 확장, 가속 및 최적화
■ SQL 및 비관계형 데이터 저장소로 스파크를 효율적으로 통합
■ 스파크 스트리밍 및 아파치 카프카를 사용한 스트림 처리 및 메시징 수행
■ SparkR 및 스파크 Mllib를 사용한 예측 모델링 구현

★ 이 책의 대상 독자 ★

빅데이터 분야에 입문하거나 축적한 지식을 이 영역에 통합하려는 데이터 분석가 및 엔지니어를 대상으로 하는 책이다. 스파크는 빅데이터에 탁월한 프로세싱 프레임워크로서 현재 빅데이터 분야에서 전문적인 기술을 보유한 엔지니어가 많이 사용하고 있다.
파이썬 프로그래밍 경험이 있는 사람이라면 이 책을 볼 때 더 이해하기 쉬우므로 파이썬에 관한 경험은 유용하지만, 반드시 필요한 것은 아니다. 데이터 분석 및 조작과 관련한 훌륭한 실무 지식도 도움이 될 수 있다. 특히 빅데이터 영역으로 커리어를 확장하고자 하는 데이터 웨어하우스 전문가에게 적합하다.

★ 이 책의 구성 ★

1부, ‘스파크 기초’에서는 스파크를 배치하는 방법, 기본적인 데이터 처리 작업을 위해 스파크의 사용법을 확실하게 이해하도록 설계된 네 개의 장이 포함돼 있다.
1장, ‘빅데이터, 하둡 및 스파크 소개’에서는 스파크 프로젝트의 기원과 진화를 비롯해 빅데이터 에코 시스템에 대한 개념을 설명한다. 스파크 프로젝트의 핵심 속성은 스파크가 무엇인지, 어떻게 사용되는지, 하둡 프로젝트와는 어떤 관련이 있는지 등을 설명한다.
2장, ‘스파크 배포’에서는 다양한 스파크 클러스터 배포 모드와 스파크를 활용하는 다양한 방법을 포함해 스파크 클러스터를 배포하는 방법을 보여 준다.
3장, ‘스파크 클러스터 아키텍처의 이해’에서는 스파크 클러스터 및 응용 프로그램의 작동 방식에 관해 설명하고 스파크의 작동 방식을 확실히 이해하도록 돕는다.
4장, ‘스파크 프로그래밍 기초 학습’에서는 탄력적인 분산 데이터 세트(RDD, Resilient Distributed Dataset) API를 사용해서 스파크의 블록으로 구성된 기본 프로그래밍에 대해 중점적으로 다룬다.

2부, ‘스파크 응용’에서는 스트리밍 응용 프로그램, 데이터 과학 및 머신 러닝과 함께 사용되는 스파크 코어의 확장 및 응용에 관해 다음 네 개의 장에서 다룬다.
5장, ‘스파크 코어 API를 사용한 고급 프로그래밍’에서는 다양한 공유 변수 및 RDD 스토리지, 파티션 개념 및 구현을 포함해서 스파크 루틴을 확장, 가속, 최적화하는 데 사용되는 고급 구문을 설명한다.
6장, ‘스파크로 SQL 및 NoSQL 프로그래밍하기’에서는 스파크가 방대한 SQL 환경 및 비관계형 저장소와 통합하는 것에 관해 설명한다.
7장, ‘스파크를 사용한 스트림 처리 및 메시징’에서는 스파크 스트리밍 프로젝트와 기본 DStream 객체를 소개한다. 또한 스파크를 아파치 카프카와 같은 대중적인 메시징 시스템과 함께 사용하는 방법도 다룬다.
8장, ‘스파크를 사용한 데이터 과학 및 머신 러닝 소개’에서는 스파크에서 머신 러닝을 구현하는 데 사용되는 스파크 MLlib 하위 프로젝트뿐만 아니라 R과 스파크를 함께 사용하는 예측 모델링에 관해 소개한다.


목차


1부. 스파크 기초

1장. 빅데이터, 하둡 및 스파크 소개

__빅데이터, 분산 컴퓨팅 및 하둡 소개
____빅데이터와 하둡의 간략한 역사
____하둡
__아파치 스파크 소개
____아파치 스파크 배경
____스파크 사용
____스파크 프로그래밍 인터페이스
____스파크 프로그램의 제출 유형
____스파크 응용 프로그램의 입력/출력 유형
____스파크 RDD
____스파크와 하둡
__파이썬을 이용한 함수 프로그래밍
____파이썬 함수 프로그래밍에서 사용되는 데이터 구조
____파이썬 객체 직렬화
____파이썬 함수형 프로그래밍 기초
__요약

2장. 스파크 배포

__스파크 배포 모드
____로컬 모드
____스파크 독립실행형
____얀에서의 스파크
____메소스에서의 스파크
__스파크 설치 준비
__스파크 가져오기
__리눅스나 맥 OS X에서 스파크 설치하기
__윈도우에 스파크 설치하기
__스파크 설치 탐색
__다중노드(Multi-Node) 스파크 독립실행형 클러스터 배포
__클라우드에서 스파크 배포
____아마존 웹 서비스
____구글 클라우드 플랫폼
____데이터브릭스
__요약

3장. 스파크 클러스터 아키텍처의 이해

__스파크 응용 프로그램의 해부
____스파크 드라이버
____스파크 작업자 및 실행자
____스파크 마스터와 클러스터 매니저
__독립실행형 스케줄러를 사용하는 스파크 응용 프로그램
____얀에서 실행되는 스파크 응용 프로그램
__얀에서 실행되는 스파크 응용 프로그램의 배포 모드
____클라이언트 모드
____클러스터 모드
____로컬 모드 재검토
__요약

4장. 스파크 프로그래밍 기초 학습
__RDD의 소개
__RDD에 데이터 로드하기
____하나 이상의 파일에서 RDD 생성하기
____하나 이상의 텍스트 파일에서 RDD를 만드는 방법
____오브젝트 파일에서 RDD 만들기
____데이터 소스에서 RDD 만들기
____JSON 파일에서 RDD 만들기
____프로그래밍 방식으로 RDD 생성하기
__RDD 연산
____주요 RDD 개념
____기본 RDD 변환
____기본 RDD 액션
____PairRDD의 변환
____맵리듀스 및 워드 카운트(Word Count) 연습
____조인(Join) 변환
____스파크에서 데이터세트 조인하기
____세트(Sets)의 변환
____숫자(numeric) RDD의 변환
__요약

2부. 스파크 응용

5장. 스파크 코어 API를 사용한 고급 프로그래밍

__스파크의 공유변수
____브로드캐스트 변수
____어큐뮬레이터
____연습: 브로드캐스트 변수 및 어큐뮬레이터 사용
__스파크의 데이터 파티셔닝
____파티셔닝 개요
____파티션 제어
____함수 재분할
____파티션 별 또는 파티션 인식 API 메소드
__RDD 저장 옵션
____RDD 리니지 재검토
____RDD 저장 옵션
____RDD 캐싱
____RDD 유지
____RDD를 유지하거나 캐시할 시기 선택하기
____RDD 체크포인트 지정
____연습: RDD 체크포인트
__외부 프로그램으로 RDD 처리하기
__스파크를 사용해 데이터 샘플링하기
__스파크 응용 프로그램 및 클러스터 구성 이해하기
____스파크 환경변수
____스파크 구성 속성
__스파크 최적화하기
____초기 필터, 자주 필터
____연관연산 최적화하기
____함수 및 클로저의 영향 이해하기
____데이터 수집을 위한 고려 사항
____응용 프로그램 조정 및 최적화를 위한 구성 매개변수
____비효율적인 파티셔닝 피하기
____응용 프로그램 성능 문제 진단하기
__요약

6장. 스파크로 SQL 및 NoSQL 프로그래밍하기
__스파크 SQL 소개
____하이브 소개
____스파크 SQL 아키텍처
____데이터프레임 시작하기
____데이터프레임 사용
____캐싱, 지속 및 데이터프레임 재구성
____데이터프레임 출력 저장
____스파크 SQL 액세스하기
____연습: 스파크 SQL 사용하기
__NoSQL 시스템에서 스파크 사용하기
____NoSQL 소개
____HBase와 스파크 사용하기
____연습: HBase로 스파크 사용하기
____카산드라와 함께 스파크 사용하기
____DynamoDB에서 스파크 사용하기
____기타 NoSQL 플랫폼
__요약

7장. 스파크를 사용한 스트림 처리 및 메시징

__스파크 스트리밍 소개
____스파크 스트리밍 아키텍처
____DStream 소개
____연습: 스파크 스트리밍 시작하기
____State 연산
____슬라이딩 윈도우 연산
__구조화된 스트리밍
____구조화된 스트리밍 데이터 소스
____구조화된 스트리밍 데이터 싱크
____출력 모드
____구조화된 스트리밍 연산
__메시징 플랫폼에서 스파크 사용
____아파치 카프카
____연습: 카프카와 스파크 사용하기
____아마존 킨시스
__요약

8장. 스파크를 사용한 데이터 과학 및 머신 러닝 소개

__스파크 및 R
____R 소개
____R에 스파크 사용하기
____연습: SparkR과 함께 RStudio 사용하기
__스파크로 머신 러닝하기
____머신 러닝 입문서
____스파크 MLlib를 사용한 머신 러닝
____연습: 스파크 MLlib를 사용해서 Recommender 구현하기
____스파크 ML을 사용한 머신 러닝
__스파크와 함께 노트북 사용하기
____주피터(IPython) 노트북과 스파크 사용하기
____스파크에서 아파치 제플린 노트북 사용하기
__요약

교환 및 환불안내

도서교환 및 환불
  • ㆍ배송기간은 평일 기준 1~3일 정도 소요됩니다.(스프링 분철은 1일 정도 시간이 더 소요됩니다.)
  • ㆍ상품불량 및 오배송등의 이유로 반품하실 경우, 반품배송비는 무료입니다.
  • ㆍ고객님의 변심에 의한 반품,환불,교환시 택배비는 본인 부담입니다.
  • ㆍ상담원과의 상담없이 교환 및 반품으로 반송된 물품은 책임지지 않습니다.
  • ㆍ이미 발송된 상품의 취소 및 반품, 교환요청시 배송비가 발생할 수 있습니다.
  • ㆍ반품신청시 반송된 상품의 수령후 환불처리됩니다.(카드사 사정에 따라 카드취소는 시일이 3~5일이 소요될 수 있습니다.)
  • ㆍ주문하신 상품의 반품,교환은 상품수령일로 부터 7일이내에 신청하실 수 있습니다.
  • ㆍ상품이 훼손된 경우 반품 및 교환,환불이 불가능합니다.
  • ㆍ반품/교환시 고객님 귀책사유로 인해 수거가 지연될 경우에는 반품이 제한될 수 있습니다.
  • ㆍ스프링제본 상품은 교환 및 환불이 불가능 합니다.
  • ㆍ군부대(사서함) 및 해외배송은 불가능합니다.
  • ㆍ오후 3시 이후 상담원과 통화되지 않은 취소건에 대해서는 고객 반품비용이 발생할 수 있습니다.
반품안내
  • 마이페이지 > 나의상담 > 1 : 1 문의하기 게시판 또는 고객센터 1800-7327
교환/반품주소
  • 경기도 파주시 문발로 211 1층 / (주)북채널 / 전화 : 1800-7327
  • 택배안내 : CJ대한통운(1588-1255)
  • 고객님 변심으로 인한 교환 또는 반품시 왕복 배송비 5,000원을 부담하셔야 하며, 제품 불량 또는 오 배송시에는 전액을 당사에서부담 합니다.