여론은 일종의 ‘가늠자’다. 사람들의 선택을 분석하고 결과를 예측하는 데 여론은 중요한 역할을 한다. 하지만 사회 전체, 때로는 일부 구성원의 선호도를 나타내는 여론은 종종 왜곡되고, 결과적으로 예측이 크게 빗나가기도 한다. 개개인의 선택(선호)을 통해 집단 전체의 선호(여론)를 정확히 예측하려면 표본의 크기, 객관적인 조사, 의도한 쪽으로 치우치지 않는 설문 등 다양한 요소들이 균형을 이뤄야 한다.

표본이 모집단을 대표해야

통계를 집계하거나 여론을 조사하는 것은 모집단의 성향을 알아보기 위함이다. 통계·여론조사는 전수조사와 표본조사가 있다. 전수조사는 모집단 전부가 대상이고, 표본조사는 모집단 중 일부를 추출해 통계나 여론을 집계하는 방식이다. 전수조사는 정확하지만 비용과 시간이 많이 들어 여론조사는 대부분 표본조사 방식으로 이뤄진다. 표본은 무엇보다 모집단을 대표해야 한다. 일반적으로 표본의 크기가 클수록, 표본이 모집단에서 골고루 추출될수록 표본의 대표성은 커진다.

여론이 빗나가는 이유 중에는 표본의 오류가 많다. 표본을 어떻게 추출하느냐는 여론조사의 신뢰성과 밀접한 관계가 있다. 표본이 모집단을 대표하려면 일정 규모 이상이 돼야 한다. 통상 모집단의 5%(응답자 비율 기준)가 기준이 된다. 국민 전체를 대상으로 하는 여론조사 등 모집단이 아주 클 때는 최소 표본이 500명을 넘어야 한다. 또 하나는 표본의 대표성이다. 표본이 이념·계층·학력·나이 등 어느 한쪽에 치우치면 모집단을 대표하기 어렵다. 일반적으로 표본을 무작위로 추출하는 것은 바로 이런 편향성을 배제하기 위한 것이다.

질의 방식·질의 내용도 중요

여론조사나 통계조사의 신뢰도를 높이려면 질의방식이 합리적이어야 하고 질의내용 또한 편파적이지 않아야 한다. 예를 들어 전화로 여론조사를 할 때도 유선전화를 이용하느냐, 휴대폰(스마트폰)을 이용하느냐에 따라 답변이 크게 달라진다. 유선전화의 경우 중년이나 노년층의 응답률이 높아 어떤 질문에 대해 보수적인 답변이 상대적으로 높을 수 있다.

1936년 미국 대선의 여론조사는 ‘표본의 대표성’을 일깨워주는 대표적 사례다. 당시 리터러리 다이제스트는 여론조사를 통해 공화당의 랜던 후보가 57%의 지지율로 43%에 그친 루스벨트 민주당 후보에게 압승할 것으로 예상했다. 결과는 루스벨트의 압승(득표율 61%)이었다. 왜 이런 결과가 나왔을까.

당시 다이제스트는 구독자와 함께 전화 가입자, 자동차 보유자 명단을 중심으로 여론을 조사했다. 한데 당시에 전화·자동차를 보유한 부유층은 대부분 공화당을 지지했다. 표본이 모집단을 대표하지 못한 것이다. 질의에 어떤 문구를 넣느냐에 따라서도 여론조사 결과가 크게 달라진다.

신뢰수준 95%, 오차 ±3.5%포인트는?

“A조사기관에 따르면 이달 21~24일 전국 19세 이상 성인 남녀 2000명을 대상으로 한 조사 결과, 갑 후보에 대한 지지율은 40%로 나타났다. 이번 조사는 신뢰수준 95%, 표본오차는 ±3.5%포인트다.”

선거 때만 되면 단골로 등장하는 여론조사 내용이다. 그러나 이 여론조사의 의미를 정확하게 이해하는 사람은 의외로 적다.

위 여론조사는 전국 19세 이상 남녀 2000명이라는 표본이 모집단(전체 성인)을 잘 대표한다는 가정 아래 이뤄진 것이다. 하지만 표본이 모집단을 100% 대표할 수는 없기 때문에 필연적으로 오차가 생긴다. 따라서 여론의 결과를 어느 정도 믿을 수 있느냐는 나타내는 것이 신뢰수준과 표본오차다. 신뢰수준이 95%라 함은 여론조사를 95% 믿을 수 있다는 뜻이 아니라 같은 조사를 하면 오차범위 내 같은 결과가 나올 확률이 95번이라는 뜻이다. 바꿔 말하면 5% 확률로 다른 결과가 나올 수 있다는 얘기다.