장바구니 담기 close

장바구니에 상품을 담았습니다.

장바구니로 계속쇼핑하기
아파치 Flume 따라잡기
미리보기

아파치 Flume 따라잡기

  • 스티브 호프만
  • |
  • 에이콘출판
  • |
  • 2015-08-28 출간
  • |
  • 140페이지
  • |
  • 188 X 235 X 11 mm /374g
  • |
  • ISBN 9788960777521
★★★★★ 평점(10/10) | 리뷰(1)
판매가

15,000원

즉시할인가

13,500 원

배송비

2,300원

(제주/도서산간 배송 추가비용:3,000원)

추가상품
상품선택
독서대 7,900원 독서대 선택안함 0원
수량
+ -
총주문금액
13,500원
장바구니 구매하기

※ 스프링제본 상품은 반품/교환/환불이 불가능하므로 신중하게 선택하여 주시기 바랍니다.

북스크린영상으로 만나보는 한 권의 책 이야기

출판사서평

★ 이 책에서 다루는 내용 ★

■ 플룸 아키텍처 이해
■ 아파치로부터 오픈소스 플룸 다운로드와 설치
■ 메모리 또는 파일 기반 채널을 사용할 때 차이점 발견
■ 하둡 파일시스템(HDFS) 싱크 설정과 이해
■ 유동성이 많은 데이터 플로우를 만들기 위한 싱크 그룹 사용 방법
■ 데이터 수집을 위한 다양한 소스들에 대한 설정과 사용
■ 유효한 탑재량 기준으로 콘텐츠를 다른 목적지 대상에 대해서 데이터 기록과 경로에 대한 검사
■ 하둡에 대해 경로 중간에 데이터 변환
■ 사용자 데이터 흐름을 모니터

★ 이 책의 대상 독자 ★

이 책은 시간 내에 신뢰성을 가진 방법으로 하둡 안에 데이터셋을 이동시키기 위한 책임을 보유한 사람들을 위해 쓰여졌다. 주로 소프트웨어 엔지니어, 데이터베이스 관리자, 데이터 웨어하우스 관리자 등을 위한 책이다.

★ 이 책의 구성 ★

1장, ‘개요와 아키텍처’에서는 플룸을 소개하고 플룸으로 작업을 시도할 때 발생하는 문제 영역을 설명한다(특히 하둡에 대해). 다양한 컴포넌트들로 구성된 아키텍처 개요는 이후 단원에서 자세히 다룬다.

2장, ‘플룸 시작하기’에서는 플룸을 빠르게 실행해볼 수 있는 내용을 제공한다. 플룸 다운로드 방법, “Hello World” 설정을 생성하고 실행하는 방법을 설명한다.

3장, ‘채널’에서는 대부분의 사람들이 사용하게 되는 2개의 주요 채널에 대해 다룬다. 그리고 각각에 대한 설정 옵션을 설명한다.

4장, ‘싱크와 싱크 프로세서’에서는 플룸 출력으로 HDFS를 사용하는 상세한 내용을 다룬다. 압축 옵션 그리고 데이터 포맷팅을 위한 옵션을 포함한다. 또한 장애복구(failover) 옵션을 통해서 더욱 강력한 데이터 파이프라인을 만들기 위한 내용을 알아본다.

5장, ‘소스와 채널 셀렉터’에서는 플룸 입력 메커니즘의 여러 가지 방법 설정과 옵션을 소개한다. 데이터 내용에 따라 채널 간에 다르게 스위칭하는 것을 다루고 복잡한 데이터 흐름을 어떻게 만들 수 있는지 알아본다.

6장, ‘인터셉터, ETL, 라우팅’에서는 라우팅 결정을 내릴 채널 셀렉터를 사용하기 위해서 유효 탑재량(payload)으로부터 정보를 추출하고, 수행중인 데이터를 어떻게 변환할지를 설명한다. Avro 직렬화(serialization)를 사용하는 플룸 에이전트 계층화 방법뿐만 아니라 수동적으로 데이터를 입력하고 독립적인 Avro 클라이언트 테스트를 위한 플룸 커맨드라인에 대해서 알아본다.

7장, ‘플룸 모니터링’에서는 모닛(Monit), 나기오스(Nagios), 갱글리아(Ganglia), 사용자정의 후크(hook)를 비롯한 플룸의 내부와 외부 모두에서 모니터링 가능한 다양한 옵션들에 대해 설명한다.

8장, ‘실시간 분산 데이터 수집의 현실’에서는 플룸 구성과 사용 범위를 벗어나는 여러 가지 고려사항들을 알아본다.

목차

1 개요와 아키텍처
__플룸 0.9
__플룸 1.X(Flume-NG)
__HDFS와 스트리밍 데이터/로그 문제
__소스, 채널, 싱크
__플룸 이벤트
____인터셉터, 채널 셀렉터, 싱크 프로세서
____단계별 데이터 수집(다중 플로우 에이전트)
__요약

2 플룸 퀵 스타트
__플룸 다운로드
____하둡 배포판 플룸
__플룸 설정파일 개요
__"Hello World"로 시작하기
__요약

3 채널
__메모리 채널
__파일 채널
__요약

4 싱크와 싱크 프로세서
__HDFS 싱크
____경로와 파일이름
____파일 로테이션
__압축 코덱
__이벤트 시리얼라이저
____텍스트 출력
____텍스트 헤더
____아파치 Avro
____파일 형식
________시퀀스 파일
________데이터 스트림
________압축 스트림
____타임아웃과 워커
__싱크그룹
____로드밸런싱
____장애조치
__요약

5 소스와 채널 셀렉터
__테일 사용의 문제점
__exec 소스
__스풀링 디렉토리 소스
__Syslog 소스
____Syslog UDP 소스
____Syslog TCP 소스
____멀티포트 syslog TCP 소스
__채널 셀렉터
____리플리케이팅
____멀티플렉싱
__요약

6 인터셉터, ETL, 라우팅
__인터셉터
____타임스탬프
____호스트
____스태틱
____정규식 필터링
____정규식 추출기
____커스텀 인터셉터
__티어링 데이터 플로우
____Avro 소스/싱크
____커맨드라인 Avro
____Log4J 어펜더
____로드밸런싱 Log4J 어펜더
__라우팅
__요약

7 플룸 모니터링
__에이전트 프로세스 모니터링
____모닛
____나기오스
__성능 메트릭스 모니터링
____갱글리아
____내부 HTTP 서버
____커스텀 모니터링 후크
__요약

8 실시간 분산 데이터 수집의 현실
__전송시간 vs 로그시간
__타임 존 재앙
__용량 계획
__복수 데이터센터를 위한 고려사항
__규정 준수와 데이터 만료
__요약

저자소개

저자 스티브 호프만(Steve Hoffman)은 30년간 소프트웨어 개발을 해왔으며, 일리노이 대학교 어바나 샴페인(University of Illinois Urbana-Champaign)에서 컴퓨터 엔지니어링 학사학위를 취득하고 드폴(DePaul) 대학교에서 컴퓨터과학 석사학위를 마쳤다. 현재 오르비츠 월드와이드(Orbitz Worldwide)에서 프린시플 엔지니어(Principal Engineer)로 일하고 있다.
스티브에 대해 더 많은 정보를 원한다면 http://bit.ly/bacoboy 또는 트위터 @bacoboy를 참조하기 바란다. 이 책은 스티브의 첫 번째 저서다.

도서소개

플룸(Flume)은 하둡(Hadoop) 기반의 로그 데이터 수집을 위해 아파치 재단에서 개발한 오픈소스 소프트웨어 엔진이다. 특히 로그 성격의 다양한 데이터를 병렬적으로 분산처리하면서 수집할 수 있는 강력한 기능을 가지고 있으며, 다양한 장비로그, 서버로그, 센서로그, IoT로그 등을 수집해 하둡에 저장할 수 있는, 하둡과 연동 가능한 대표적인 수집 소프트웨어 기술이다. 하둡 기반의 로그 데이터 수집에 대한 내용을 설명한 이 책은 빅데이터 시스템 개발자들에게 큰 도움이 될 것이다.
추천포스트

교환 및 환불안내

도서교환 및 환불
  • ㆍ배송기간은 평일 기준 1~3일 정도 소요됩니다.(스프링 분철은 1일 정도 시간이 더 소요됩니다.)
  • ㆍ상품불량 및 오배송등의 이유로 반품하실 경우, 반품배송비는 무료입니다.
  • ㆍ고객님의 변심에 의한 반품,환불,교환시 택배비는 본인 부담입니다.
  • ㆍ상담원과의 상담없이 교환 및 반품으로 반송된 물품은 책임지지 않습니다.
  • ㆍ이미 발송된 상품의 취소 및 반품, 교환요청시 배송비가 발생할 수 있습니다.
  • ㆍ반품신청시 반송된 상품의 수령후 환불처리됩니다.(카드사 사정에 따라 카드취소는 시일이 3~5일이 소요될 수 있습니다.)
  • ㆍ주문하신 상품의 반품,교환은 상품수령일로 부터 7일이내에 신청하실 수 있습니다.
  • ㆍ상품이 훼손된 경우 반품 및 교환,환불이 불가능합니다.
  • ㆍ반품/교환시 고객님 귀책사유로 인해 수거가 지연될 경우에는 반품이 제한될 수 있습니다.
  • ㆍ스프링제본 상품은 교환 및 환불이 불가능 합니다.
  • ㆍ군부대(사서함) 및 해외배송은 불가능합니다.
  • ㆍ오후 3시 이후 상담원과 통화되지 않은 취소건에 대해서는 고객 반품비용이 발생할 수 있습니다.
반품안내
  • 마이페이지 > 나의상담 > 1 : 1 문의하기 게시판 또는 고객센터 1800-7327
교환/반품주소
  • 경기도 파주시 문발로 211 1층 / (주)북채널 / 전화 : 1800-7327
  • 택배안내 : CJ대한통운(1588-1255)
  • 고객님 변심으로 인한 교환 또는 반품시 왕복 배송비 5,000원을 부담하셔야 하며, 제품 불량 또는 오 배송시에는 전액을 당사에서부담 합니다.