스마트 기기의 보급과 소셜 네트워크 서비스(SNS)의 확대, 사물인터넷(IoT : Internet of Things) 등으로 엄청난 데이터가 폭발적으로 쏟아지고 있다. 이런 가운데 방대한 데이터의 저장 및 처리 기술의 진화와 처리 비용의 하락, 빅데이터 분석 기술의 등장 등에 따라 ‘빅데이터(Big Data)’가 모든 분야의 혁신 패러다임으로 등장하게 된 것이다. 더욱 중요한 것은 이러한 데이터 분석을 통해 엄청난 가치 창출이 가능하다는 것이다. ‘데이터’의 가공과 분석에 따라 상황 인식, 문제 해결, 미래 전망이 가능해지고 데이터가 경제적 자산과 경쟁력의 척도로 주목받은 것이다. 즉 지능화, 개인화 등 스마트 시대 주요 패러다임 선도를 위해서는 빅데이터의 활용이 핵심이며, 그 수준이 경쟁력과 성패를 좌우하게 되었다.
이제 경영에서의 빅데이터는 성과 창출과 경쟁력 창출의 핵심 역량으로 인식되기 시작한 것이다. 그러나 비단 경영뿐 아니라 주요 공공 부문에서의 혁신 사례와 같은 행정, 사회 문화 등 거의 모든 분야에서 그 성과를 인정받고 있다. 2020년 기준으로 데이터 산업에 종사하는 직무 인력은 10만 1,967명으로 나타났으며, 향후 5년 이내에 필요한 인력은 1만 2,114명으로 나타났다(2020 데이터산업현황조사). 이에 한국소프트웨어기술인협회 빅데이터전략연구소는 빅데이터 전문 인력을 양성하여야 할 시대적 소명을 인식하고 반드시 갖추어야 할 전문지식을 학습하도록 하기 위해 본 《빅데이터 개론》 교재를 집필하게 되었다.
데이터를 분석하고 그 결과를 활용한다는 것은 그에 걸맞은 기술과 기법이 요구되고 전문가도 필요하다. 분석된 결과에 대한 해석과 그로부터 얻는 혜안과 통찰력도 요구된다. 이는 다학제적 접근을 요구한다는 의미이다. 따라서 본 저서의 집필을 어느 한 전문가의 지식에 의존한다는 것은 매우 위험하다고 판단했다. 이에 한국소프트웨어기술인협회 빅데이터전략연구소는 각 분야 전문가들의 다학제적 융합 연구가 필요하다고 판단, 3개 분야 14개 세부 주제에 대한 각 분야의 전문가 중심으로 본 저서를 집필하기 시작했다.
이로 인해 집필된 본 교재는 총 3편 14장으로 구성되어 있다. 제1편, 빅데이터의 이해에서는 빅데이터의 개요, 빅데이터 비즈니스 모델과 가치, 빅데이터 역할과 분야별 활용, 기업의 빅데이터 활용, 빅데이터와 인공지능이 다루어진다. 제2편, 빅데이터 기획과 분석에서는 분석적 사고와 스토리텔링, 빅데이터 분석 기획의 이해, 통계기반 데이터 분석, 빅데이터 분석 기법과 데이터 마이닝, 비정형 데이터 마이닝, 데이터 시각화 기법과 이해를 공부하게 된다. 제3편, 빅데이터 기술에서는 빅데이터 플랫폼과 수집 및 저장, 빅데이터 처리 및 인프라, 빅데이터 분석 도구에 대해 학습하게 된다.
최근 빅데이터 인력 양성의 필요성에 따라 2021년부터 국가기술자격인 빅데이터분석기사 자격 검정을 시행하고 있으며, 경영빅데이터분석사, 마케팅빅데이터관리사, 데이터분석 전문가/준전문가 등의 자격증이 있다. 이 자격증 공부에 본 교재가 도움이 될 것으로 기대한다. 먼저 아까운 시간을 기꺼이 할애하여 집필에 참여해 주신 전문가 여러분의 수고에 감사드린다. 아울러 편집위원회에서 노고를 아끼지 않은 남수현 교수님, 박성택 교수에게 지면을 빌어 감사의 인사를 드린다. 본 저서는 빅데이터 분야의 개론서로서 후학들의 빅데이터 학습에 기여할 것을 확신하면서도 동태적으로 진화 발전하고 있기 때문에 독자, 수험생, 전문가들의 조언과 지적 및 연구 결과를 지속적으로 반영하고자 노력할 것이다.
