요즘의 세태를 일컬어 ‘빅데이터(Big Data) 시대’라는 말이 회자되고 있다. 빅데이터란 기존에 데이터를 관리하는 도구로는 처리할 수 없는 대용량의 데이터 집합체를 의미한다. 또한 이러한 대용량의 데이터를 분석해 정보를 추출하고, 이를 활용해 부가가치를 창출하는 기술을 가리켜 빅데이터라고 부르기도 한다. 빅데이터는 세계경제포럼이 인류의 미래 발전을 선도할 핵심 기술로 선정했을 만큼 최근 들어 가장 각광받고 있는 분야 중 하나다.
빅데이터가 관심을 끌고 있는 것은 정보기술(IT)이 발달하고 디지털 기기가 보편화돼 사람들이 생성해내는 데이터의 양(Volume)이 과거와는 비교할 수 없을 정도로 방대해진 결과에 기인한다. 실제로 데이터 전문매체인 ‘BDT Insights’에 따르면 현재 지구상에 존재하는 모든 데이터의 90%가 최근 2년에 걸쳐 생성되었고, 앞으로도 데이터의 양은 2년마다 2배씩 증가할 것으로 전망되고 있다. 빅데이터가 가지고 있는 또 하나의 특징은 생성되는 데이터의 종류에 있다.
과거에는 숫자로 표현되는 전통적인 형식의 데이터가 주를 이뤘다면 최근에는 문서, 사진, 동영상 등으로 데이터의 형태가 다양화했고 그 양 또한 상상을 초월하는 수준이라는 것이다. 일례로 BDT Insights가 분석한 바에 따르면 페이스북 이용자들이 하루에 올리는 텍스트와 사진의 크기는 500TB(=51만2000GB)에 이르고, 유튜브에는 분당 100시간 분량의 동영상이 업로드되고 있다고 한다. 과거와는 다른 데이터의 양과 종류로 대변되는 빅데이터의 특징은 데이터의 빠른 전송을 의미하는 속도(Velocity)와 합쳐져 ‘3V’로 정의된다.
즉, 빅데이터 시대를 살아가고 있는 우리는 인터넷의 보편화와 관련 기술의 발달로 인해 데이터의 생산과 사용이 간편해져 다양한 형태의 데이터를 하루에도 수없이 쏟아내고 있다는 것이다. 이쯤 되면 인간이 생각하고 행동하는 모든 일이 모두 데이터화되고 있다고 해도 과언이 아닌 상황이다.
금요일, 맥주는 기저귀 판매대 옆에
사정이 이렇자 기업들이 빅데이터에 주목하기 시작했다. 데이터를 분석하면 시장 상황을 예측할 수 있고, 이를 기업의 의사결정 과정에 반영하면 수익 창출에 도움이 될 것으로 판단했기 때문이다. 이러한 기업들의 생각은 이미 관심 차원을 넘어 현실화되고 있고, 경영 현장 곳곳에서 적용되고 있다. 대표적인 사례로 미국 메이저리그의 오클랜드 어슬레틱스 구단을 꼽을 수 있다. 오클랜드의 구단주 빌리 빈은 ‘머니볼 이론’으로 불리는 빅데이터 분석을 통해 만년 하위권에 머물던 팀을 정상권으로 도약시켰다.
그는 타자들의 데이터를 분석하는 과정에서 출루율과 장타율이 종래에 각광받던 홈런, 타율, 타점보다 승리에 더 큰 영향을 미친다는 사실을 발견했다. 그리고 출루율과 장타율을 중심으로 선수들을 구성한 결과, 메이저리그 최고인 20연승의 대기록을 작성할 수 있었다. 더욱 놀라운 점은 오클랜드의 연봉 총액이 리그 최하위 수준이었다는 점으로, 빈 단장은 데이터 분석에 입각해 선수를 선발하고 기용함으로써 최소의 비용으로 최대의 효과를 거둘 수 있었다. 이러한 오클랜드의 성과는 올해도 계속돼 2014년 8월10일 현재 오클랜드는 6할이 넘는 승률로 메이저리그 전체 1위를 달리고 있다.
이 외에도 빅데이터 분석을 통해 성공을 거둔 사례는 어렵지 않게 찾아볼 수 있다. 온라인 거래업체 아마존은 고객들의 구매 이력을 분석, 해당 고객이 다음에 구매할 가능성이 높은 품목을 예측해 추천하는 시스템을 구축했다.
동시에 아마존은 추천 품목에 사용할 수 있는 할인쿠폰을 함께 제공했고, 이를 통해 높은 실적 향상을 거둘 수 있었다. 미국 최대의 할인매장 업체 월마트는 구매 기록 분석을 통해 금요일 저녁 기저귀 심부름을 나오는 남편들이 기저귀와 함께 맥주를 구매한다는 사실을 발견하고 맥주를 기저귀 판매대 옆에 진열해 매출을 신장시켰다.
수익창출 ·공공서비스 제공 기회
이뿐만이 아니다. 오늘날 빅데이터는 공공부문의 행정서비스를 개선하는 데에도 활발히 활용되고 있다. 대표적인 경우가 버락 오바마 미국 대통령으로, 그는 지난 대선에서 SNS 이용 기록과 신용카드 사용내역 등을 토대로 유권자를 그룹화했고, 각 그룹이 선호할 만한 공약을 개발해 홍보함으로써 승리의 발판을 마련할 수 있었다. 우리나라에서는 서울시가 심야버스의 노선을 확정하는 데 빅데이터 분석을 활용한 것으로 알려져 있다. 심야 시간대 통화 정보와 택시의 주행 노선을 분석해 시민들의 주요 이동 경로를 파악했고, 이를 심야버스의 노선 결정에 적극 반영했다. 최근에는 과거의 범죄 데이터를 분석해 향후 범죄가 발생할 가능성이 높은 장소와 시간대를 예측하고, 이를 토대로 순찰인력을 배치함으로써 범죄를 예방하는 데에도 빅데이터를 활용하고 있다.