1980년, 미국 문명평론가 앨빈 토플러는 그의 저서 <제3의 물결>에서 “농업혁명으로 인류는 비약적으로 발전해 제1의 물결을 경험했다. 산업혁명은 제2의 물결을 가져왔으며, 현재 세계는 정보통신기술에 의한 제3의 물결”이라고 했다. 21세기에 들어선 지금, IT업계에서 시작한 빅데이터 열풍은 세계를 ‘제4의 물결’ 시대로 접어들게 한다는 목소리가 나온다. 영국 옥스퍼드대 빅보르 교수는 빅데이터를 ‘혁명’이라 표현한다. 빅데이터가 근무환경과 우리의 사고방식까지 송두리째 바꿔 놓을 것이라는 것이다. 빅데이터가 펼칠 새로운 세상은 예전에는 생각지도 못했던 일들을 가능하게 할 것이다.
빅데이터가 ‘21세기 원유’로 비유되는 이유다. ＃빅데이터는 무엇인가2012년 세계경제포럼에서 ‘떠오르는 10대 기술’ 중 첫 번째로 선정된 기술은 바로 빅데이터다. 도대체 빅데이터는 무엇일까. 이는 빅(Big)+데이터(Data)식의 단순한 합성어는 아니다. 단지 어마어마하게 많은 데이터로만 여긴다면 빅데이터의 본질적인 의미와 가치를 놓칠 수 있다. 빅데이터는 기존 기업 환경에서 사용되는 정형화된 데이터는 물론이고 미처 활용하지 못하던 비정형화된 데이터(사진·이미지 처럼 분석 데이터로는 활용하기 어려웠던 멀티미디어 데이터)까지 포함한다. 빅데이터의 주요 특징은 3V로 요약된다.
크기(volume), 다양성(variety), 속도(velocity)가 그것이다. 기존 데이터 크기에서 벗어나 웹 데이터(웹 로그·웹 서버에 남아 있는 사용자의 데이터, 즉 소셜네트워크에 남긴 글와 이미지 등), 센서 데이터 등 모든 데이터를 포함한다. 데이터의 처리 능력도 큰 특징이다. 슈퍼컴퓨터를 이용해 거대한 양의 데이터 분석은 예전에도 할 수 있었지만 이는 비용 대비 효과가 낮았다. 수십억원을 들여야만 대용량 데이터를 분석할 수 있었고 정부 차원에서나 할 수 있는 일이었다. 하지만 빅데이터시대에는 저렴한 비용으로 엄청난 데이터를 효과적으로 처리할 수 있게 된 것이다.
빅데이터는 대용량 데이터만 지칭하는 것이 아니라 데이터를 효과적으로 처리하고 분석할 수 있는 기술까지 포함한 포괄적 개념이라고 할 수 있다. ＃데이터 과학자까지 등장 빅데이터가 세상을 바꾸고 있다. 빅데이터 분석은 실시간 예측 및 자동 업데이트로 정확도를 높이기 때문에 보다 정확한 미래예측이 가능해진다. 병원은 환자의 증세·질환·입원 기록 등을 분석해 재입원 가능성을 예측할 수 있고, 공중보건에 해로운 이벤트를 탐지해 위험을 사전에 경고할 수 있다. 기업은 소비자의 일상생활 데이터로 숨은 욕구를 발견해 개인 특성에 맞춰 상품을 추천한다.
빅데이터를 대폭 확보함으로써 관리 가능한 기업 리스크의 범위가 증대되고 리스크도 줄어든다. 빅데이터 시장은 급속도로 팽창해 2015년에는 빅데이터 관련 글로벌 시장 규모가 170억달러로 예측된다. 빅데이터 전문가인 ‘데이터 과학자(Data Scientist)’도 등장했다. 데이터 과학자는 통계학·컴퓨터과학·머신 등 기본적인 데이터 분석에 대한 이해뿐만 아니라 프로그래밍 실력과 함께 특정 도메인에 대한 비즈니스 지식까지 갖춘 인력을 말한다. 장순열 한국 IDC(한국인터넷데이터 센터) 상무는 “빅데이터 활성화로 데이터 과학자가 새로운 직업군으로 자리잡게 될 것이다.
축적되는 데이터를 분석하는 데 그치는 데이터 분석가와 달리 의미를 추출하고 예측력까지 갖춘 인력이 바로 데이터 과학자다. 국내뿐 아니라 전 세계적으로 이러한 인력들이 별로 없다”며 앞으로 빅데이터 전문인력에 대한 수요가 급증할 것으로 전망했다. ＃오바마 대통령 대선때도 활용 미국 주요 언론들은 2012년 오바마 재선의 일등공신으로 빅데이터 활용을 꼽는다. 1억 명에 달하는 유권자 빅데이터를 분석해 유권자 특성에 맞는 맞춤형 선거운동을 전개함으로써 재선에 성공했다는 것이다. 유권자의 지지 성향 분포를 지도로 작성하고 지지 가능 유권자들의 이동 경로, 대중교통의 이용 노선까지 파악해 선거 유세에 적극 활용했다.
또한 한 사람씩 투표에 어떻게 참여할지에 대한 수 백개의 변수를 다양한 데이터베이스 분석으로 투표율을 계산했기 때문이다. 빅데이터를 성공적으로 활용한 기업으로는 아마존이 대표적이다. 아마존은 업무에서 파생되는 빅데이터를 차별화된 서비스 창출로 활용한 기업으로 유명하다. 웹사이트에서 고객활동 데이터 확보→고객의 쇼핑 편의성을 높일 서비스 아이디어 도출→효과 검증을 위한 데이터 추가 확보 장치 마련 등의 과정을 반복적으로 독려하면서 아마존은 빅데이터 활용을 극대화했다. 현재 아마존의 서비스 중 관심제품 추천 서비스와 원클릭 구매환경 등은 빅데이터의 산물이다.
기업뿐만 아니라 공공기관에서도 빅데이터는 유용하게 사용할 수 있다. 공공기관의 업무처리 과정에서 생성되는 공공데이터는 해당 국가의 자연환경과 국민 경제활동 등의 일상생활을 포괄하고 있어 규모가 크고 활용 가치가 높기 때문이다. 실제로 빅데이터 분석기법을 공공부문에 적용할 경우 그 잠재효과는 유럽 전체 1500억~3000억원 유로에 육박한다는 분석도 있다. 우리 정부도 향후 빅데이터 활용을 위해 누구나 사용할 수 있는 정부 내 공동설비를 구축하고 대학에 빅데이터 관련 과목을 개설하는 등의 방안들이 거론되고 있다.
손정희 한국경제신문 연구원 jhson@hankyung.com----------------------------------------------------------------------"빅데이터가 당신을 지켜본다" … '빅브라더'가 현실로 지난 4월15일 미국 보스턴 폭탄 테러가 발생한 뒤 용의자 차르나예츠 형제가 특정되기까지 걸린 시간은 불과 사흘이었다. 미 연방수사국(FBI)이 수집한 사진·동영상·통화 기록 등 10테라바이트(1000기가바이트)에 달하는 증거 자료를 1000명 이상의 전문가가 동원해 분석해낸 결과다. 미 언론은 이를 빅데이터의 승리라고 평가했다. 반면 빅 데이터가 야기하는 위험성도 무시할 수 없다.
뉴욕타임스 수전 도미너스는 ‘빅데이터가 당신을 지켜보고 있다’는 글로 개인 사생활 침해 우려를 지적했다. 빅데이터가 수집한 방대한 개인정보들이 악용되어 정부 기관 등의 감시를 통한 ‘빅브러더’(조지 오웰의 소설 <1984년>에서 비롯된 용어로 정보의 독점으로 사회를 통제하는 관리 권력을 말함)가 현실화되고 있다는 우려의 목소리가 제기되고 있는 것이다. 인터넷 포털사이트를 이용할 때 입력하는 검색어, 아이폰용 음성인식 시스템인 ‘시리’에 질문하는 것 등이 모두 빅데이터가 되기 때문이다.
실제 사생활 침해 논란으로 페이스북은 지난해 9월 얼굴 인식을 통해 사진 속 인물을 자동으로 태그할 수 있는 기능이 사생활 침해로 지적받으며 EU 지역에서 서비스를 중단하고 모든 데이터를 삭제했다. 구글은 지난 3월 스트리트뷰 서비스를 준비하는 과정에서 보안되지 않은 와이파이 망으로부터 이메일과 비밀번호를 수집했다는 혐의로 700만달러 벌금을 내기도 했다. 빅데이터 시대에 개인정보 수집은 불가피하다는 의견도 있다. 정보가 힘이자 돈이 되는 시대가 왔고 인터넷·휴대폰이 필수인 시대에 디지털 흔적을 남기지 않는 게 불가능하다는 것이다. 빅데이터가 양면성을 지닌 만큼 향후 논란은 계속될 전망이다.
