조사의 내용이나 목적이 다양해도 본질적으로 대부분의 조사는 전체(모집단)를 다 조사하는 것이 아니다. 전체의 일부인 표본만을 조사해 전체에 대해 예측을 한다. 다시 말하면 대부분의 조사에서는 모집단의 일부를 뽑아 이 표본에 대해서만 특성을 조사한 뒤 이를 근거로 모집단의 특성을 추정하는 방법,즉 표본조사를 사용한다. 표본조사의 가장 중요한 요소는 바로 좋은 표본을 뽑는 것이다. 좋은 표본이란 간단히 말해 '표본이 모집단의 축소판 닮은꼴'이 되는 것이다. 다른 말로는 모집단을 대표할 수 있는 표본,즉 대표성을 갖는 표본을 뽑아야 한다.
대표성이 없는 표본으로부터는 아무리 신뢰성 있게 자료를 수집하더라도 모집단의 특성을 추정할 때 '장님 코끼리 만지기'와 같은 오류를 범할 수밖에 없다. 이런 오류를 줄이기 위해 대부분의 여론조사에서는 표본을 선정할 때 대표성을 높이기 위해 노력을 많이 한다. 예를 들어 우연히 한쪽에 치우친 표본이 뽑힐 가능성을 줄이기 위하여 모집단을 여러 층(strata)으로 나눈 뒤 각 층에서 무작위 추출을 하는 방법도 흔히 사용된다. 이를 다단계층화 무작위표집이라고 하는데 여기에서 다단계란 예를 들어 모집단을 지역,성별,나이 등으로 몇 단계를 거쳐 구분하는 것이며 이렇게 구분된 집단으로부터 무작위추출을 하게 된다.
그러나 설문조사에서는 표본의 대상인 사람을 뽑는 것뿐 아니라 뽑은 사람으로부터 어떤 방법으로 원하는 자료를 수집하는가도 중요한 문제가 된다. 자료수집방법은 3가지가 있는데 우선 개별면접법(personal interview)은 면접원이 응답자를 직접 만나서 필요한 정보를 얻는 것이다. 상세하고 다양한 내용의 질문을 할 수 있다는 측면에서 최선의 방법이지만 비용과 시간이 많이 든다. 우편조사(mail survey)는 비용이 가장 적게 들고 복잡한 질문에 대한 응답도 얻어낼 수 있지만 응답률이 낮다.
전화조사(telephone survey)는 짧은 시간 내에 적은 비용으로 비교적 양질의 자료를 얻을 수 있기에 가장 많이 사용된다. 어느 방법을 선택하느냐는 소요시간과 비용,질문의 양과 복잡도 등에 따라 정해진다. 수집할 자료의 내용이 아주 간단하다면 전화조사가 빠르고 정확할 수 있다. 내용이 복잡하고 많다면 우편조사나 개별 면접조사를 한다. 언론에 발표되는 사회적인 현안에 관한 여론조사는 대부분 전화조사로 이루어지고 있다. 전화조사의 문제점 중 하나는 표본의 대표성이 낮다는 것이다. 전화가 없는 가정이나 전화번호부에 등록이 안된 가정은 제외되고 업무상 전화와 연결될 수도 있으며 통화가 안되기도 한다.
통화가 되더라도 설문에 대한 응답을 거부하거나 끊어버리는 사람도 많다. 더욱이 전화번호부를 이용하여 지역별 성별 연령별로 층화표집을 한다고 할 때 전화번호부에는 연령에 관한 정보가 없으므로 통화가 된 가정에서 해당연령의 응답자를 찾아야 하는데 이런 경우에는 표본의 대표성이 더욱 낮아지게 된다. 조사의 응답률에 있어서도 응답률이 최소한 70% 이상,즉 최초로 접촉한 사람의 70% 이상이 응답을 해야 최소한의 대표성이 유지된다. 대부분 조사의 경우 응답률이 얼마인지조차 밝히지도 않고 있다. 발표를 하지 못하는 이유는 아마 응답률이 낮기 때문일 경우가 많을 것이다. 열성적인 사람들은 대개 응답에 쉽게 동의를 한다.
따라서 응답률이 낮다는 것은 일부 열성적인 사람들만을 대상으로 조사한 것이 되고 만다. 응답률이 50% 이하가 되면 표본조사의 결과를 가지고 모집단에 대해서 추론을 한다는 것이 무리가 된다. 또한 응답항목이 질문의 내용과 일치해야 하는 것도 설문 작성의 기본적인 요건이다. 그런데 이런 요건마저 지켜지지 않는 경우가 종종 있다. 특히 한 질문이 둘 이상의 질문을 포함하는 경우가 좋은 예다. 아래의 질문은 1995년 6·27 선거 전 한 일간지의 선거조사 설문 중 하나다. 이런 설문은 아직까지도 종종 반복되고 있다.
당신은 이번 선거에서 어느 정당을 지지하는가?자민련( ) 민자당( ) 민주당( ) 아직 결정하지 않았다( ) 인물에 따라 투표( )정당지지도에 대한 질문에 '인물에 따라 투표'라는 투표기준을 응답 항목에 포함시킨 것이다. 이 질문에 대한 응답을 근거로 '정당지지도를 묻는 질문에 대해서는 과반수인 55%가 정당과 관계없이 인물에 따라 투표하겠다고 대답했다'라고 분석하고 있지만 이런 분석은 잘못된 것이다. 먼저 투표기준,즉 정당을 보고 찍는지 인물에 따라 찍는지를 묻고 나서 정당에 따라 찍는다고 대답하면 어느 정당을 지지하는지 물어야 한다.
비슷한 조사에서 같은 응답항목에 대한 응답률이 큰 차이를 보이는 이유에는 조사에 따라 질문과 응답항목이 불일치하기 때문인 경우가 대부분이다. 질문과 응답항목이 일치되는 경우에도 올바른 순서로 질문을 해야 한다. 따라서 전화조사의 경우 전화를 거는 조사원에 대한 세심한 사전훈련이 필수적이다. 여론조사에 응해 달라는 전화를 받은 것은 지난달 어느 일요일 늦은 오후였다. …마침 우리나라의 정치여론조사, 특히 질문은 어떻게 하는가가 궁금해서 여러모로 한번 분석해 보려던 터라 차근차근 질문에 응했다. …그런데 한 질문에서 세 정당의 지지도를 묻다가 대답이 적극적이지 않으니까 그러면 인물을 보고 투표하느냐고 묻는다.
설문을 만들 때 지켜야 할 원칙 중 중요한 것은 질문의 카테고리 간의 균형을 유지하는 일이다. 그러니까 정당을 보고 찍는지,아니면 인물을 보고 찍는지를 먼저 묻고,그 다음에 정당이면 셋 중 어느 정당,또 인물이면 능력·됨됨이 등을 물어야 하는 것이다. (김광웅 교수,'후보여론조사 문제없나',○○일보 1995.5.29.4면)김진호 교수 jhkim@kndu.ac.kr[ 약력 ] △서울대 경영대 졸업 △미국 펜실베이니아대 와튼스쿨 경영학 석·박사 △(전)KBS 선거예측조사 자문위원 △(현)국방대 경영학과 교수
