<통계로 세상보기> 여론조사는 믿을 수 있나?

[가] A 정당은 대통령후보를 선출하는 과정에서 국민의 의사를 반영하기 위해 여론조사 결과를 20% 반영키로 했다. 전체 유권자는 총 3700만 명에 달하지만 시간과 비용의 문제로 3000명을 지역별, 성별, 연령별로 비례하여 할당 추출하고 전화로 조사하는 방법을 택했다. 3000명은 1000명씩 나누어 세 여론조사기관에 의뢰했다. 조사기간은 일요일 오후 1시부터 저녁 8시까지로 한정했다. 전화를 받지 않을 경우에 대비해 예비전화번호를 3만여개 준비하고 전화받지 않을 경우 곧바로 유사한 지역, 동일한성, 동일한 연령대의 다른 전화번호로 연결했다. 세 여론조사 기관의 결과는 지지율의 평균치를 구해 적용했다. 조사결과는 당원들의 투표율과 여론조사 반영비율에 연동해 표로 환산하여 반영키로 했다. 실제 조사결과 무효응답률이 60%에 달한 것으로 나타났다.

[나] B 정당은 대통령후보선출에 반영하는 여론조사문구를 두고 논란을 빚고 있다. 김 후보는 ‘누가 대통령이 되면 좋은가’라는 질문을 요구한 반면 최후보는 ‘누구를 대통령 후보로 지지합니까’라는 질문을 요구했다.

[다] 1916년 미국의 대통령선거를 앞두고 <리터러리 다이제스트> 라는 잡지는 수백만명의 독자에게 지지후보를 묻는 엽서를 보냈고 이를 취합해 윌슨의 당선을 예측했다. 이것이 여론조사의 효시다. 이후 같은 방식으로 네 차례에 걸쳐 대통령 선거마다 당선을 맞춘 <리터러리다이제스트> 는 인기를 구가했다. 하지만 1936년 다이제스트는 욕심을 부렸다. 정기구독자외 전화와 자동차 소유자 리스트를 확보하고 총 1천만 명을 조사해 공화당의 랜던 후보가 당선될 것이라고 예상한 것이다. 결과는 정반대로 나타났다. 민주당의 루스벨트후보가 당선된 것. 이당시 조지갤럽은 여러 연령과 계층 등을 대표하는 표본인구 개념을 처음 도입하고 5000명을 대상으로 조사해 루스벨트의 당선을 예측했다. 이때부터 갤럽의 방법은 과학적이고 객관적인 여론조사방법으로 인정받았다. 하지만 여론조사 방식은 표본을 산출하는 과정에서 발생하는 오차와 응답 거부층의 존재, 응답자의 거짓 답변 가능성 등으로 그 신뢰도에 근본적인 한계를 지니고 있었다. 결국 갤럽은 1948년 대통령 선거 여론조사에서 큰 낭패를 봤다. 당시 대통령이던 트루먼을 누르고 듀이가 당선될 것이라 예측했으나 실제 투표결과 트루먼이 재선에 성공한 것이다. 이는 2차세계대전 이후 꾸준히 진행된 도시집중화 현상을 고려하지 않은채 농촌 인구를 표본에 과다하게 반영했기 때문에 나타난 결과였다.

[ 문제 ] 제시문 [다]를 참고해 제시문 [가]의 여론조사 방식을 신뢰할 수 있는지의 여부와 제시문 [나]와 같은 논란이 발생하는 이유를 논하시오.

여론조사는 한계를 지닐 수밖에 없어

2002년 당시 노무현 민주당 후보와 정몽준 국민통합21 후보가 여론조사를 통해 후보단일화에 합의하고 여론조사결과 노무현 후보로 단일화된 사례를 알고 계시나요? 이후 정치권에서는 여론조사 결과를 활용하는 사례가 늘고 있어요. 정치권에서 여론조사를 활용하는 이유는 민심의 흐름을 읽을 수 있는 이점뿐 아니라 적은 비용으로 합의를 이끌어 내는 최선의 결과를 보여준다고 생각하는 데 있죠. 하지만 여론조사는 여러 가지 편의성에도 불구하고 잘못된 결과를 보여줄 우려가 적지 않은 것이 사실이에요.

제시문[가]의 경우는 실제 정당별 대선후보를 선출하는 과정에서 활용한 방법이기도 해요. 이 방식에는 과연 어떤 문제가 있을까요? 이러한 여론조사 결과는 신뢰할 수 있는 것일까요? 제시문 [다]는 여론조사의 한계점 중 일부를 잘 보여주고 있어요. 두 번의 실패 사례가 제시되어 있는데 이들은 모두 잘못된 표본을 활용했기 때문에 나타난 결과예요.

여론조사란 대개 일부 사회조사와는 달리 전수조사를 하지 않아요. 전수조사란 쉽게 말해 국민전체를 대상으로 벌이는 조사를 말해요. 인구총조사 등이 여기에 해당되죠. 하지만 전수조사를 하기위해서는 조사에서부터 결과를 산출하기까지 매우 많은 비용과 시간, 노력이 투입되어야 하죠. 때문에 여론조사는 표본조사를 실시할 수밖에 없어요. 표본조사란 조사대상이 되는 구성원 중 일부를 샘플로 취해 조사하고 그 결과를 통해 전체의 조사 결과를 유추하는 것을 말하죠. 때문에 표본은 전체 구성원을 대표할 수 있는 조건을 갖추어야만 해요. 하지만 대표성을 갖는 표본을 만들고 조사한다는 것 역시 쉽지 않은 일이죠.

제시문 [다]의 경우를 살펴보면 다이제스트라는 잡지는 표본에 정기독자 외 전화와 자동차를 소유한 계층의 리스트를 포함시켰어요. 당시 전화와 자동차를 소유한 계층이란 부유한 계층일 수밖에 없고 이로 인해 보수적 정치성향을 지닌 대상이 표본에 과도하게 포함되는 오류를 낳았어요. 갤럽의 1948년 조사 결과도 마찬가지예요. 나름대로 표본을 추출하는 과학적 방법을 시도했지만 도시로 인구가 집중되고 있는 사회변화를 표본에 반영하지 못해 오류를 범한 경우예요. 이처럼 여론조사에서는 대표성을 띤 표본을 설정하는 것이 쉽지 않은 문제가 있어요. 이 때문에 표본에 오차가 발생할 수밖에 없으며 이를 표본오차라 부르죠. 표본오차를 줄이기 위해서는 가급적 표본을 크게 잡고 표본선택 과정에서 엄격한 기준을 적용해야 해요.

표본의 대표성을 고려하지 않은 A정당

제시문 [가]의 경우 A정당은 여론조사를 함에 있어 표본의 대표성을 엄격하게 따지지 않은 큰 문제를 드러내고 있어요. 우선 전체 대상에 비해 표본의 수가 그리 크지 않은점이 문제예요.

대통령후보를 선출하는 중대한 사안에 비해 표본이 작아 진정한 대표성을 지닌 표본이 되기 힘들고 오차가 많이 발생할 가능성이 크죠. 또한 표본추출 방법 역시 신뢰도를 떨어뜨리고 있어요. 지역이나 성·연령별로 비례하여 표본을 추출하는 방식을 택하고 있는데 이러한 방식은 여러 편향을 낳을 수 있어 극히 조심해야하는 방법이에요. 미국 등 여론조사기법이 발전한 곳에서는 전화 여론조사 시 대개 무작위 추출 방법을 활용하곤 하죠. 표본의 수를 늘리고 무작위로 추출된 표본을 활용하는 것이 실제 전체의 대표성에 근접하기 쉬워요. 지역이나 성, 연령 등 인구 데이터는 조사 후 결과를 보정하는 차원에서 활용하는 것이 좋죠.

여론조사 결과를 득표로 환원하는 방식도 문제가 적지 않아요. 단순히 세 조사기관의 결과를 평균하여 지지율이 높은 비율만큼 득표로 환산하는 것은 가뜩이나 정확하지 않은 표본의 문제를 크게 확대시킬 우려가 커요. 어떤 여론조사든지 표본 오차가 발생할 수밖에 없어요. 따라서 각 조사의 표본오차를 고려하여 반영하는 방식을 찾아야 하며 만일 후보간 지지율 차이가 오차범위에 있다면 아예 이 조사 결과를 반영하지 않는 것이 타당해요. 오차범위의 차이라면 실제 어떤 후보의 지지율이 더 높은 것인지 불확실한 상황이기 때문이죠. 더욱이 오차범위 이내의 차이가 당락을 뒤바꾸는 역할을 한다면 큰 문제죠.

애초 신뢰할 수 없는 여론조사 방식

조사기간 역시 제시문 [가]의 조사가 신뢰할 수 없는 조사임을 보여주고 있어요. 조사기관 별로 1000명씩 조사하는데 7시간만에 진행했다는 것은 조사의 신뢰도를 크게 떨어뜨리고 있죠. 흔히 비교적 정확하게 조사하기 위해서는 1000명을 조사하는 데 일주일 이상을 잡아야 한다고 말해요. 하지만 하루 안에 그것도 오후부터 저녁시간까지 7시간안에 조사를 마쳤다는 것은 신뢰할 수 없는 조사라는 것을 의미해요. 조사당일인 일요일 오후 1시부터 저녁 8시까지 7시간 동안 집에 있지 않은 사람들은 아예 표본에서 제외될 수밖에 없는 상황이기 때문이죠. 이 조사는 일요일 낮 시간에 나들이로 외출하는 젊은층은 표본이 될 수 없는 조사예요.

무응답층이 60%에 달했다는 점 역시 이 여론조사를 폐기하는 것이 옳다는 확신을 주고 있어요. 응답률이 낮다는 것은 이 조사 이슈에 대해 국민들이 적극적인 관심을 가지고 있지 않다거나 의사를 표현하지 않고자 하는 의지가 강한 것인 만큼 표본의 대표성이 사실상 없는 것과 마찬가지이기 때문이죠. 무응답층이 많다는 것은 이 이슈에 관심이 있는 사람들만 답했다는 것으로 편향된 의견만 반영될 가능성이 높아요. 후보자들의 팬클럽이나 관련자들 위주로 응답했다면 이 결과를 국민의 의사라 말할수는 없겠죠. 특히 우리 국민들은 미국인들과 달리 정치적인 의사표명을 꺼리는 경향이 강해 조사와 그 결과에 대한 분석에 신중을 기할 필요가 있어요.

무응답층이 발생했을 경우 다른 표본으로 넘어가는 방식도 문제예요. 이런 방식의 경우 표본의 대표성에 심각한 결함이 생길 수밖에 없죠. 정확한 조사를 위해서는 전화연락이 되지 않을때 시차를 두고 다시 시도하고 샘플표본의 교체인원도 3배 이내로 제한할 필요가 있어요. 이러한 시도가 성공하지 못할 경우 특정 집단이 많이 반영되는 결과를 가져와 대표성을 신뢰할 수 없고, 결국 아예 조사를 폐기하는 것이 타당하죠.

/조성진 유레카논술 책임연구원