1980년, 미국 문명평론가 앨빈 토플러는 그의 저서 <제3의 물결>에서 “농업혁명으로 인류는 비약적으로 발전해 제1의 물결을 경험했다. 산업혁명은 제2의 물결을 가져왔으며, 현재 세계는 정보통신기술에 의한 제3의 물결”이라고 했다. 21세기에 들어선 지금, IT업계에서 시작한 빅데이터 열풍은 세계를 ‘제4의 물결’ 시대로 접어들게 한다는 목소리가 나온다. 영국 옥스퍼드대 빅보르 교수는 빅데이터를 ‘혁명’이라 표현한다. 빅데이터가 근무환경과 우리의 사고방식까지 송두리째 바꿔 놓을 것이라는 것이다. 빅데이터가 펼칠 새로운 세상은 예전에는 생각지도 못했던 일들을 가능하게 할 것이다. 빅데이터가 ‘21세기 원유’로 비유되는 이유다. ＃빅데이터는 무엇인가
2012년 세계경제포럼에서 ‘떠오르는 10대 기술’ 중 첫 번째로 선정된 기술은 바로 빅데이터다. 도대체 빅데이터는 무엇일까. 이는 빅(Big)+데이터(Data)식의 단순한 합성어는 아니다. 단지 어마어마하게 많은 데이터로만 여긴다면 빅데이터의 본질적인 의미와 가치를 놓칠 수 있다. 빅데이터는 기존 기업 환경에서 사용되는 정형화된 데이터는 물론이고 미처 활용하지 못하던 비정형화된 데이터(사진·이미지 처럼 분석 데이터로는 활용하기 어려웠던 멀티미디어 데이터)까지 포함한다.
빅데이터의 주요 특징은 3V로 요약된다. 크기(volume), 다양성(variety), 속도(velocity)가 그것이다. 기존 데이터 크기에서 벗어나 웹 데이터(웹 로그·웹 서버에 남아 있는 사용자의 데이터, 즉 소셜네트워크에 남긴 글와 이미지 등), 센서 데이터 등 모든 데이터를 포함한다. 데이터의 처리 능력도 큰 특징이다. 슈퍼컴퓨터를 이용해 거대한 양의 데이터 분석은 예전에도 할 수 있었지만 이는 비용 대비 효과가 낮았다. 수십억원을 들여야만 대용량 데이터를 분석할 수 있었고 정부 차원에서나 할 수 있는 일이었다. 하지만 빅데이터시대에는 저렴한 비용으로 엄청난 데이터를 효과적으로 처리할 수 있게 된 것이다. 빅데이터는 대용량 데이터만 지칭하는 것이 아니라 데이터를 효과적으로 처리하고 분석할 수 있는 기술까지 포함한 포괄적 개념이라고 할 수 있다. ＃데이터 과학자까지 등장
빅데이터가 세상을 바꾸고 있다. 빅데이터 분석은 실시간 예측 및 자동 업데이트로 정확도를 높이기 때문에 보다 정확한 미래예측이 가능해진다. 병원은 환자의 증세·질환·입원 기록 등을 분석해 재입원 가능성을 예측할 수 있고, 공중보건에 해로운 이벤트를 탐지해 위험을 사전에 경고할 수 있다. 기업은 소비자의 일상생활 데이터로 숨은 욕구를 발견해 개인 특성에 맞춰 상품을 추천한다. 빅데이터를 대폭 확보함으로써 관리 가능한 기업 리스크의 범위가 증대되고 리스크도 줄어든다.
빅데이터 시장은 급속도로 팽창해 2015년에는 빅데이터 관련 글로벌 시장 규모가 170억달러로 예측된다. 빅데이터 전문가인 ‘데이터 과학자(Data Scientist)’도 등장했다. 데이터 과학자는 통계학·컴퓨터과학·머신 등 기본적인 데이터 분석에 대한 이해뿐만 아니라 프로그래밍 실력과 함께 특정 도메인에 대한 비즈니스 지식까지 갖춘 인력을 말한다. 장순열 한국 IDC(한국인터넷데이터 센터) 상무는 “빅데이터 활성화로 데이터 과학자가 새로운 직업군으로 자리잡게 될 것이다. 축적되는 데이터를 분석하는 데 그치는 데이터 분석가와 달리 의미를 추출하고 예측력까지 갖춘 인력이 바로 데이터 과학자다. 국내뿐 아니라 전 세계적으로 이러한 인력들이 별로 없다”며 앞으로 빅데이터 전문인력에 대한 수요가 급증할 것으로 전망했다.
＃오바마 대통령 대선때도 활용
미국 주요 언론들은 2012년 오바마 재선의 일등공신으로 빅데이터 활용을 꼽는다. 1억 명에 달하는 유권자 빅데이터를 분석해 유권자 특성에 맞는 맞춤형 선거운동을 전개함으로써 재선에 성공했다는 것이다. 유권자의 지지 성향 분포를 지도로 작성하고 지지 가능 유권자들의 이동 경로, 대중교통의 이용 노선까지 파악해 선거 유세에 적극 활용했다. 또한 한 사람씩 투표에 어떻게 참여할지에 대한 수 백개의 변수를 다양한 데이터베이스 분석으로 투표율을 계산했기 때문이다.
빅데이터를 성공적으로 활용한 기업으로는 아마존이 대표적이다. 아마존은 업무에서 파생되는 빅데이터를 차별화된 서비스 창출로 활용한 기업으로 유명하다. 웹사이트에서 고객활동 데이터 확보→고객의 쇼핑 편의성을 높일 서비스 아이디어 도출→효과 검증을 위한 데이터 추가 확보 장치 마련 등의 과정을 반복적으로 독려하면서 아마존은 빅데이터 활용을 극대화했다. 현재 아마존의 서비스 중 관심제품 추천 서비스와 원클릭 구매환경 등은 빅데이터의 산물이다.
