빅데이터(big data) 시대다. 지구촌의 데이터는 하루하루 눈덩이처럼 불어나고, 쓰임새 역시 날로 팽창한다. 스마트폰이 지구촌의 풍속도를 바꾼 것만큼이나 빅데이터가 삶의 구석구석까지 바꿔놓을 거라는 전망까지 나온다. 빅데이터는 방대한 규모, 엄청나게 빠른 생성속도, 무궁한 다양성, 가치 창출이 특징이다. 빅데이터의 토대는 디지털이다. 인간이 디지털에 남긴 흔적들이 모여 빅데이터가 된다. 데이터의 홍수시대인터넷·스마트폰은 흔적을 끌고 다닌다. 관심이 뭔지, 어느 곳을 즐겨 찾는지, 뭘 즐겨먹는지, 뭘 주로 사는지, 대화 상대는 주로 누군지 당신의 모든 흔적을 담는다. 그 흔적들이 모두 데이터가 된다. 그뿐만이 아니다.
금융거래 진료카드 여론조사 납세실적과 각종 통계도 연일 엄청난 데이터를 쏟아낸다. 사람과 사람, 사람과 기계, 기계와 기계 간에 오간 모든 흔적(데이터)이 기하급수적으로 축적된다. 비유적으로 말하면 인류는 한때 데이터를 손으로 하나둘 주워담았다. 그러다 갈퀴로 긁어모았고, 빅데이터 시대엔 초강력 진공청소기로 데이터를 빨아들인다. 데이터는 하루하루 눈덩이처럼 커진다. 미국 저장장치 업체 EMC 분석에 의하면 2012년 한 해 동안 생성된 데이터는 이전까지 생성된 모든 데이터를 합한 것보다 많았다. 빅데이터는 테라바이트(TB) 이상의 방대한 데이터다. 대형 온라인 서점에는 구매 목록, 클릭 목록 데이터가 하루하루 쌓여간다.
온라인 쇼핑몰은 고객의 상세한 쇼핑 리스트를 갖고 있다. 온라인 구매가 늘수록 데이터는 많아진다. 신용카드 회사는 하루 수백·수천만 건에 달하는 사용내역서를 축적한다. 그 데이터들은 개개인의 소비성향은 물론 계층·연령별 구매패턴을 고스란히 보여준다. 데이터에도 쏠림현상이 생긴다. 데이터 규모가 크고, 데이터 신뢰성이 높을수록 클릭이 늘어난다. 클릭은 또 다른 데이터다. 데이터가 데이터를 모은다. 데이터가 쌓일수록 높은 수준의 예측과 추론이 가능해진다. 데이터가 ‘정보화 시대의 원유’로 불리는 이유다. 21세기 디지털 시대는 데이터의 홍수 시대다.
빅데이터는 ‘안경이자 나침반’세계적 빅데이터 전문가 빅토르 마이어 쇤베르크 옥스퍼드대 교수는 빅데이터를 ‘안경’에 비유한다. 그의 비유처럼 빅데이터는 새로운 시각으로, 새로운 세상을 보는 망원경이자 현미경이다. 안경을 써도 없는 건 보이지 않는다. 다만 있는 게 더 뚜렷이 보인다. 망원경·현미경·내시경도 원리는 마찬가지다. 빅데이터는 어리어리하고, 흐미한 곳에 ‘숨어 있는 것들’을 찾아내고 방향성을 제시한다. 그런 점에서 빅데이터는 안경이자 나침반이다. 데이터는 인간의 직관보다 더 객관적이다. 데이터 양이 많아지고 질이 좋아질수록 객관성은 더 높아진다.
쇤베르크 교수는 “과거에 CEO들이 직관으로 내린 결정들은 사실상 오류가 많았다”고 지적한다. 다만 그런 CEO들은 스타가 되지 못했고, 당연히 뉴스의 관심권에서 멀어졌을 뿐이라는 것이다. 멀티데이터 시대에는 데이터를 분석하고 해석하는 전문성이 더 요구된다. 빅데이터 시대엔 데이터가 산업의 구조나 기업의 서열을 재편할 가능성이 크다. 데이터는 공평하게 누적되지 않는다. 얼마나 축적하고, 어떻게 활용하느냐에 따라 데이터 가치는 크게 달라진다. 데이터 가치를 모르면 갈수록 뒤처지고, 어느 순간 낙오자가 된다. 빅데이터는 기회이자 위기다. 그건 국가·기업·개인 모두 마찬가지다.
인과성에서 상관성으로빅데이터는 주로 인과성(causality)보다 상관성(correlation)을 보여준다. 바꿔 말하면 빅데이터는 대부분 ‘왜’에 대해 명확한 답변을 주지 않는다. 다만 상호 연관성을 보여줄 뿐이다. 쇤베르크 교수는 빅데이터 시대에는 인과(因果)에 대한 지나친 집착을 버리라고 주장한다. 인과에 얽매이기보다 패턴이나 상관성에서 새로운 통찰과 가치를 얻는 게 더 바람직하다는 얘기다. 항공사들의 항공권 가격정책을 일일이 몰라도 빅데이터가 정확하게 표 살 시점을 짚어준다면 그걸로 충분하다는 것이다. 빅데이터는 인간의 사고방식에도 변화를 요구하고 있다. 어느 시대든 데이터를 쥔 자가 앞서갔다.
빅데이터 시대엔 앞서는 자, 뒤지는 자의 간격이 빠르게 벌어질 것이다. 산업혁명의 시기, 증기는 세상을 바꾸는 동력이었다. 그 증기를 먼저 거머쥔 영국이 ‘해가 지지 않는 제국’을 건설했다. 기술의 시기, IT가 삶을 바꿨다. 그 IT를 먼저 장악한 미국이 세계를 리드한다. 빅데이터 시대는 이제 막 문턱을 넘어섰다. 아직은 강자·약자가 어지러이 섞여 있다. 하지만 조만간 서열이 가려질 것이다. 서열이 고착화되기 전에 더 준비하고 더 대비해야 한다.
