장바구니 담기 close

장바구니에 상품을 담았습니다.

장바구니로 계속쇼핑하기
데이터 엔지니어링 로그프레소를 만나다
미리보기

데이터 엔지니어링 로그프레소를 만나다

  • 김한도
  • |
  • 프리버드
  • |
  • 2020-12-30 출간
  • |
  • 252페이지
  • |
  • 189 X 257 X 16 mm /661g
  • |
  • ISBN 9791197301001
판매가

19,500원

즉시할인가

17,550 원

배송비

2,300원

(제주/도서산간 배송 추가비용:3,000원)

추가상품
상품선택
독서대 7,900원 독서대 선택안함 0원
수량
+ -
총주문금액
17,550원
장바구니 구매하기

※ 스프링제본 상품은 반품/교환/환불이 불가능하므로 신중하게 선택하여 주시기 바랍니다.

북스크린영상으로 만나보는 한 권의 책 이야기

출판사서평




상품에서 흐르는 물로... 데이터에 대한 시각이 달라지고 있다
?
데이터 웨어하우스(data warehouse)는 데이터를 데이터베이스 같은 창고에 있는 상품으로 바라보았다. 데이터 레이크는 단순한 버즈워드(buzz word)가 아니라 데이터를 바라보는 관점의 변화를 내포하고 있다. 데이터는 이제 누군가 생산해 내는 상품이 아니라 흐르는 물과 같은 것으로 바라보기 시작했다. 이는 데이터는 누군가 의도적으로 만들어 내는 것이 아니라 존재하는 데이터를 가져다 사용하는 것이 중요하며, 가공하지 않고도 의미가 있다는 것을 의미한다. 또한 데이터는 공정에 따라 제어된 생산 과정을 거치는 것이 아니라 흐름이 존재하고, 가공 과정은 이 흐름을 방해하지 않으면서 따라가게 된다.
?
동영상 데이터에 흔히 스트리밍(streaming)이라는 단어를 붙여서 사용한다. 이는 동영상 정보를 가지고 있는 패킷이 연속적으로 소비되기 때문에 끊임없이 유입되어 소비하는 현상을 표현한 것이다. 센서나 장비에서 발생하는 머신 데이터를 다루는 빅데이터에서도 유사한 현상이 목도되었고, 이는 다시 스트림이라는 단어를 사용하게 된 이유가 되었다. 특히 실시간 빅데이터를 다루는 영역에서는 데이터를 흐르는 물을 다루듯 하면서 이를 통해 가공되지 않은 원본 데이터의 힘을 느끼게 된 것이다.
?
데이터 엔지니어링은 데이터베이스에 저장된 데이터뿐 아니라 빅데이터를 포괄하여 다루는 용어이다. 특히 데이터 원천에서 최종 사용자까지 파이프라인을 연결하고 이 흐름 속에서 가공, 연동 등을 수행한다. 사용자에 따라 물은 식용으로, 혹은 다른 재료가 되기도 한다. 데이터 엔지니어링은 데이터를 사용자의 필요에 따라 사용할 수 있도록 도와주는 역할을 수행한다.
?
데이터 엔지니어에 적합한 사람들은 누구인가?
?
데이터 엔지니어링이 기존 데이터 처리 방식과 새로운 트렌드가 수렴된 영역인 만큼 누가 데이터 엔지니어가 되어야 한다는 그런 배타적인 조건은 없다. 전통적으로 데이터를 다루는 사람들 그리고 새롭게 빅데이터 영역에서 데이터를 다루는 사람들 누구나 데이터 엔지니어가 될 수 있다.

전통적으로 데이터를 다루는 사람들로 DBA(database administrator), ETL 엔지니어가 있다. DBA와 데이터 엔지니어의 역할은 업무 목표에서 차별화된다. DBA는 데이터를 관리하는 솔루션의 운영을 담당한다. 그러나 데이터보다는 데이터 관리 솔루션에 더 관심을 많이 두는 것도 사실이다. 혈액보다는 혈관을 중시하는 의사와 유사하다. 데이터 엔지니어는 데이터를 처리하기 위해 솔루션을 사용한다. 혈액은 운반하는 혈관과 이 혈액의 구성에도 관심을 가진다고 할 수 있다.
ETL 엔지니어와 빅데이터 엔지니어는 어떻게 다를까? ETL 엔지니어는 데이터를 창고(warehouse)에 쌓아 놓는 작업을 한다. 데이터 엔지니어의 중요한 역할이 파이프라인이라고 한다면 매우 유사성이 있다. 하지만 ETL 엔지니어와 데이터 엔지니어의 가장 큰 차이점은 데이터를 바라보는 관점이다. 사용자의 필요에 맞는 데이터 생산 공정에 요구되는 파이프라인이 아니라, 사용자의 필요에 따라 사용할 수 있도록 데이터를 운반하는 파이프라인을 만드는 것이 데이터 엔지니어이기 때문이다.

빅데이터 엔지니어는 데이터 엔지니어와 동일한 데이터를 다룬다. 그러나 빅데이터 엔지니어가 데이터 엔지니어로 변신하려면 데이터를 다루는 방식의 차이를 이해해야 한다. 지금껏 빅데이터의 관심사는 수집, 저장, 검색이었다. 이제 데이터 엔지니어링에서 중요한 것은 데이터를 사용자에게 전달하는 것이다. 데이터를 추출, 변환해 창고에 저장하는 것에서 데이터를 실시간으로 처리하는 방식으로 전환할 수 있어야 하는 것이다.
?
클라우드, 데이터 가상화, 데이터 레이크 등 앞으로 다가 올 트렌드를 대비하는 기회
?
데이터 엔지니어링은 버즈워드를 넘어 데이터를 처리하는 근간이 되는 작업 영역, 실용 영역으로 자리 잡게 될 것이다. 이미 빅데이터, 데이터 사이언스, AI 등이 실용화 단계에 와 있고, 이들의 니즈가 한데 응축되어 나타난 현상이 그들의 역할을 위해 데이터를 다루어 줄 데이터 엔지니어링이다.

데이터 엔지니어링은 단순히 빅데이터에만 국한되지 않고 데이터가 필요한 모든 영역에 영향을 줄 것이다. 클라우드에서는 이미 데이터 파이프라인이라는 용어가 심심치 않게 쓰이고 있다. 또한 온프레미스(on-premise)에서 발생하는 데이터와 클라우드의 데이터를 통합하기 위한 데이터 아키텍쳐 설계는 데이터 엔지니어링의 그것과 동일하다. 데이터 웨어하우스 저장소를 대체하게 될 데이터 레이크도 클라우드에 올라가게 될 가능성이 커지고 있어 데이터 엔지니어링은 점차 각광받게 될 것으로 보인다.

데이터 가상화라는 새로운 트렌드에도 데이터 엔지니어링의 역할이 크다. 애플리케이션 개발자나 운영자에게 데이터 원천이 되는 서버의 접근 권한을 부여하는 것은 바람직하지 않다. 저자는 로그프레소를 이용하여 애플리케이션 로그를 모니터링 하는 사례를 소개한다. 데이터 엔지니어링은 데이터 사용자의 필요와 의도에 부응하는 방법을 제시해 주는 역할을 한다. 트렌드는 사용자들의 필요에 따라 계속 변화하므로 데이터 엔지니어링은 데이터에 관한 트렌드의 파고를 타고 계속해서 진행되는 영역이라고 할 수 있다.
??


목차


제 1부 데이터 엔지니어링

1. 왜 데이터 엔지니어링인가?

2. 데이터를 바라보는 새로운 시각
2.1 데이터 웨어하우스에서 데이터 레이크로

3. 데이터 엔지니어링
3.1 빅데이터 환경에서 데이터 엔지니어의 역할
3.2 데이터 엔지니어와 DataOPS
3.3 데이터 사이언티스트와 데이터 엔지니어
3.4 데이터 엔지니어링의 기능

4. 데이터 엔지니어링 솔루션
4.1 데이터 엔지니어링 솔루션의 구성
4.2 데이터 수집 인터페이스
4.3 데이터 처리 프레임워크
4.4 데이터 파이프라인
4.5 데이터 저장소
4.6 데이터 외부 연동 인터페이스
4.7 시스템 관리, 구성 플랫폼

제 2부 데이터 엔지니어링, 로그프레소를 만나다

5. 파이프라인의 시작과 끝
5.1 실시간 수집 인터페이스
5.2 외부 전송 인터페이스

6. 데이터 파이프라인과 쿼리
6.1 실시간을 품은 유니버설 쿼리
6.2 실시간 스트림 데이터 파이프라인
6.3 배치 처리 기반의 데이터 파이프라인
6.4 ETL 기반의 데이터 파이프라인
6.5 데이터 분석과 파이프라인

7. 데이터 저장소
7.1 데이터 엔지니어의 숨은 무기
7.2 검색 작업
7.3 집계 작업
7.4 데이터 샌드박스

8. 데이터 엔지니어링의 툴킷
8.1 실시간 대시보드
8.2 외부 시스템 확장
8.3 클라우드에서의 적용
추천포스트

교환 및 환불안내

도서교환 및 환불
  • ㆍ배송기간은 평일 기준 1~3일 정도 소요됩니다.(스프링 분철은 1일 정도 시간이 더 소요됩니다.)
  • ㆍ상품불량 및 오배송등의 이유로 반품하실 경우, 반품배송비는 무료입니다.
  • ㆍ고객님의 변심에 의한 반품,환불,교환시 택배비는 본인 부담입니다.
  • ㆍ상담원과의 상담없이 교환 및 반품으로 반송된 물품은 책임지지 않습니다.
  • ㆍ이미 발송된 상품의 취소 및 반품, 교환요청시 배송비가 발생할 수 있습니다.
  • ㆍ반품신청시 반송된 상품의 수령후 환불처리됩니다.(카드사 사정에 따라 카드취소는 시일이 3~5일이 소요될 수 있습니다.)
  • ㆍ주문하신 상품의 반품,교환은 상품수령일로 부터 7일이내에 신청하실 수 있습니다.
  • ㆍ상품이 훼손된 경우 반품 및 교환,환불이 불가능합니다.
  • ㆍ반품/교환시 고객님 귀책사유로 인해 수거가 지연될 경우에는 반품이 제한될 수 있습니다.
  • ㆍ스프링제본 상품은 교환 및 환불이 불가능 합니다.
  • ㆍ군부대(사서함) 및 해외배송은 불가능합니다.
  • ㆍ오후 3시 이후 상담원과 통화되지 않은 취소건에 대해서는 고객 반품비용이 발생할 수 있습니다.
반품안내
  • 마이페이지 > 나의상담 > 1 : 1 문의하기 게시판 또는 고객센터 1800-7327
교환/반품주소
  • 경기도 파주시 문발로 211 1층 / (주)북채널 / 전화 : 1800-7327
  • 택배안내 : CJ대한통운(1588-1255)
  • 고객님 변심으로 인한 교환 또는 반품시 왕복 배송비 5,000원을 부담하셔야 하며, 제품 불량 또는 오 배송시에는 전액을 당사에서부담 합니다.