통계 여론조사_01 2강좌 > 지식정보

본문 바로가기
사이트 내 전체검색

지식정보Home>커뮤니티>지식정보


정보지식 통계 여론조사_01 2강좌

페이지 정보

profile_image
작성자 토론실
댓글 0건 조회 1,480회 작성일 05-01-10 03:27

본문

통계 여론조사_01 2강좌

korea_icon01.gif통계 여론조사_01 2강좌

left_bt02.gif 플래시(예습)  left_bt02.gif 동영상교육(준비 예정)  

강좌 제목: 통계 여론조사_01 2강좌

아래 내용은 한국의 토론문화 확대와 토론교육을 위해 인터넷지식검색 자료를 이용해 토론교육을 구성한 것입니다. 무단사용과 배포 전재를 금지합니다. 이 강좌는 지식검색 자료의 모든 내용이 발췌 되었습니다. (유료 구입) 자세한 설명과 보다 많은 토론정보가 필요한 분은 인기포털사이트의 '인터넷지식검색'을 이용해 주실 것을 부탁드립니다. 한국의 토론교육을 위한 자료가 부족해 토론실 운영자가 마련한 교육이오니 이해를 부탁드립니다.

 

CONTENTS

들어가면서

Ⅰ. 여론 조사

Ⅱ. 오늘날 여론조사에서 가장 중요한 주제는 다음과 같이 대별될 수 있다.

 

들어가면서

선거 때가 되면 신문의 1면을 장식하는 것이 각 여론조사 기관들이 발표하는 후보자들의 지지율이다. 미리 선거를 예측하고, 유권자들에게 정보를 주고자 하는 것이다. 여론조사는 선거 때 뿐만 아니라 국민들의 의식조사나, 의견조사등 여러 분야에서 널리 이용되고 있다. 조사 방법 면에서도 과거 설문지에만 의존하던 것이 전화와 인터넷을 이용하는 등 광범위하게 이용되고 있다. 여론조사에서 빼놓을 수 없는 것이 바로 ‘통계학’이다. 유권자를 모두 조사하기란 사실상 불가은하기 때문에 여론조사에서는 표본추출을 이용한다. 이로부터 얻은 자료의 정리 그리고 분석에 이르는 일련의 과정들이 통계와 관련이 있다. 여론조사는 통계학의 산물이라고 할 수 있을 것이다.

앞으로 ‘여론조사’에 대해서 자세히 살펴볼 것이다. 그리고 여론조사 과정에서 이용되고 있는 통계적 기법과 내용에 대해서 살펴보고자 한다.

 

turkey_01.gifⅠ. 여론 조사

1. 여론조사의 개념

우선 여론조사의 개념에 대해서 살펴보도록 하겠다. 여론조사는 통상적인 조사(survey)의 일부이며, 조사는 광의로는 제반 사회과학적 연구를 통칭한다. 그러나 일상적으로 사용되는 의미의 조사는 크게 시장조사와 여론조사로 나뉜다.시장조사란 일반 기업들이 시장상황이나 광고전략, 신제품개발, 수요예측 등을 포함한 마케팅 전략 수립을 위해 수행하는 영리적 목적의 조사라고 볼 수 있다. 반면 여론조사는 공공단체에서 일반인이나 특정 계층의 의견이나 태도 등을 알아보기 위해 수행하는 비영리적인 조사이다. 물론 이런 구분이 항상 명확한 것은 아니다. 예를 들어 국회의원 선거를 앞두고 어떤 후보가 선거전략 수립 및 평가를 위해 조사를 의뢰했다면, 그 내용에 있어서는 시장조사와 흡사하나, 의뢰인이 기업이 아니라는 측면에서는 여론조사에 더 가깝다.

 

그런 측면에서 여론조사와 시장조사를 개념적으로 구분하는 것이 어렵기는 하지만, 공공단체에서 의뢰하는 조사나 정치여론조사를 광의의 여론조사라고 구분한다면(실제로 일반인들이 갖고 있는 여론조사의 개념도 이에서 크게 벗어나지는 않는다) 지금 우리나라의 전문적인 조사기관에서 수행하는 조사중 여론조사는 대략 30% 정도를 차지한다. 일반인들은 여론조사가 조사의 전부인 양 인식하고 있는데, 실제로는 여론조사보다는 시장조사의 비중이 훨씬 크다고 볼 수 있다.

여론을 객관적으로 조사하여 구체적으로 파악하기 위한 조사수단이 여론조사이다. 여론조사는 잠재되어 있는 국민의 의사 및 견해를 사실대로 파헤쳐서 여론의 구조를 명료하게 나타내고 나타낸 여론을 바탕으로 하여 사회적 정치적 문제를 결정 짓는데 기여하기 위한 것이다.

 

2. 여론조사의 역사

여론조사는 언제부터 시작되기 시작한 것인지 알아보도록 하겠다. 여론조사의 범위를 인구센서스조사까지 확대시킨다면, 여론조사는 이미 고대국가에서부터 실시되었다. 고대국가에서 세금징수나 징병을 목적으로 하는 호구조사에 대한 기록은 기원전 1500년경까지 거슬러 올라간다. 그런 기록은 이집트와 중국, 그리스, 로마시대에도 어렵지 않게 찾아 볼 수 있으며, 우리나라도 고려시대에 이미 호패제도라는 인구센서스조사가 이루어 졌다는 기록이 있다. 이런 조사는 추적조사의 양식으로도 실시되었다. 중국은 춘추전국시대 징병과 세금징수를 위해 정기적으로 인구센서스조사를 실시하였고, 로마시대에는 한 때 2~3년마다 로마시민들의 가치관을 조사했다는 기록이 있다. 물론 중세나 근대에도 위정자들이 국민들을 통제하기 위한 수단으로 인구센서스나 여론조사를 실시했다. 근대에 이르기까지 기본적으로 지배계층이나 사회지도계층은 대중의 여론이라는 것은 무지하고 쓸모가 없는 것으로 간주해 왔으며, 따라서 위정자의 통치나 통제수단으로서의 범주를 벗어나지 못했다.

 

계몽주의 시대에 이르러 비로소 대중의 의견에 대해 주목하게 되었으나 이는 단지 개념적인 수준이었으며, 대중의 행동에 대한 연구는 19세기말 선거여론조사부터 본격화 되기 시작했다. 여론조사 자체는 18세기말인 1787년 미국의 Richard Jensen이라는 연구자가 매사추세츠 주지사선거 결과분석을 위해 이미 실시했다는 기록이 있으나, 선거여론조사에 대한 본격적인 관심은 19세기 후반부터 널리 사용되면서 체계적인 조사방법이 이용되기 시작했다.

 

1800년에는 미국 16개 주중 오직 4개 주에서만 선거인을 대중의 투표로 선출했지만, 1824년에는 24개 주중 18개 주에서 선거인을 대중투표로 선출했다. 이 이후 선거후보자들은 대중의 표를 얻기 위해, 대중의 의견을 듣고 이들을 대상으로 광범위하게 의견을 수렴하는 과정을 이용하게 되었다. 1850년에는 선거여론조사가 아닌 일상태도와 가치관에 대한 여론조사도 이루어져서, J. D. B. DeBow는 23개국에서 표본추출을 하여, 결혼과 학교다니기, 수입 등을 비교하는 조사를 실시하였다. 여기서는 표준화된 면접절차와 전문적인 면접원 교육실시가 있었고, 통계적 분석 등의 체계적인 조사방법을 사용하였다.

 

3. 여론조사의 기능

여론조사에 대한 필요성이 증대되면서, 여론조사의 기능과 이를 통해 얻을 수 있는 정보도 다양해 졌다. 과거에는 단순히 특정 의견에 대한 태도를 기술하는데 그쳤다. 물론 아직도 대부분의 여론조사는 특정 주제에 대한 응답자들의 응답내용을 단순히 항목별로 응답비율을 구하거나, 이런 응답내용을 사회인구적 특성별로 비교하는데 초점을 맞추고 있다. 그러나 근자에 와서는 단순기술식 여론조사가 아닌 보다 정교한 설명과 예측을 요구하는 조사들이 많아졌다.

 

그런 점에서 여론조사는 매우 다양한 기능들을 갖고 있다.

① 여론조사는 현상을 기술하는 기능이 있다.
예를 들어 현재 사람들의 낙태 문제에 대한 찬반 비율, 혹은 믿고 있는 종교의 비율 등과 같이 문항 그 자체로 직관적인 의미를 갖는 내용에 대한 여론조사를 통해 그 결과를 기술해 주는 것이다. 물론 여론조사의 결과들은 반드시 여론조사가 아니더라도 그 결과를 충분히 추론해 낼 수 있는 경우가 많다. 그런 점에서 여론조사가 필요한가에 대해 회의적인 입장을 취하는 사람들도 있다.

그러나 여론조사의 현상기술적 기능은 크게 두가지의 의미를 갖는다. 우선은 사회적 합의의 의미이다. 특정한 주제에 대한 특정한 태도가 단지 한두 사람의 의견이 아니라 사회 구성원들의 전체적인 의견이라는 점이 중요하다. 두번째 의미는 일반인들이 갖고 있는 상식의 허구성을 깨는 역할을 하기도 한다. 특정 문제에 대한 전문가들의 의견이나 체감적 여론은 자칫 순환적 함정에 빠져 현상을 제대로 파악하지 못하는 경우들이 있다. 그런 측면에서 여론조사를 통한 현상의 객관적인 기술은 그 자체로서 의의를 갖는다고 볼 수 있다. 그리고 보다 넓게는 한 시대의 삶과 태도에 대한 역사적인 기록자료로서의 가치도 갖고 있다.

② 여론조사의 기능은 현상에 대한 설명이다.
가장 단순하게는 어떤 태도에 대해 왜 그런지를 알아 봄으로써 특정 문제나 태도의 원인을 알아 볼 수 있다. 혹은 간접적인 질문이나 여러 질문내용에 대한 심층적인 분석을 통해 특정 현상이나 태도의 원인을 추정하고 설명해 볼 수도 있을 것이다. 예를 들어 어떤 정치지도자에 대한 지지도가 높으면 왜 높은지, 반대로 낮으면 왜 낮은지에 대한 질문을 통해 정치지도자에 대한 지지이유를 알아 볼 수 있다. 이런 직접적인 방법이 아니더라도, 우리나라의 사교육 실태와 원인을 알아보기 위해 사교육 실태 및 학부모나 학생들의 사교육에 대해 갖는 태도와 가치관, 부모의 과잉 모성애나 부성애, 교육관 등에 대한 종합적인 여론조사를 통해 사교육 풍토의 원인과 대책을 추정해 볼 수 있다. 이런 현상에 대한 설명은 미리 특정 현상의 원인에 대한 개념적 가설을 만들고 여러 대안적인 가설의 타당성을 검증함으로써 밝혀지게 된다. 그러기 위해서는 일회성 조사가 아닌 여러 단계의 조사를 통해 수렴적으로 문제를 해결해 나갈 수도 있을 것이다.

③ 여론조사는 특정한 현상을 예측하는 기능을 갖는다.
예를 들어 선거 출마자들에 대한 지지도를 토대로 선거결과를 예측하는 경우 등이 이에 속한다. 이런 현상의 예측은 득표율과 같은 특정한 결과나 수치를 예측하는 것도 포함되지만, 동일한 현상에 대한 정기적인 추이 분석을 통해 앞으로 어떤 방향으로 여론이 변화해 갈 것이라든지, 어떤 현안에 대해 어떤 식으로 여론이 조성될 것이라는 등의 포괄적인 의미에서의 예측까지를 포함한다. 물론 여론의 형성이라는 것이 매우 복잡하고 예측하기 어려운 측면이 있기 때문에 여론의 예측은 아주 제한적인 범위에서만 가능하다. 그럼에도 불구하고 이런 여론의 예측이라는 것도 매우 중요한 여론조사의 기능 중 하나라고 볼 수 있다.

 

4. 여론조사의 종류

일반적으로 여론조사라고 하면 누구나 정치조사를 우선 떠올리게 된다. 물론 현대사회에서도 일반인들의 사회적 삶의 상당부분은 정치와 불가분의 관계에 있고, 현대정치가 여론정치라는 점에서 볼 때 그러한 현상은 극히 자연스러운 것이기도 하다. 물론 정치조사가 여론조사의 중요한 부분임에는 틀림이 없으나, 모든 여론조사가 정치조사는 아니다. 다시 말해서 여론조사의 주제는 특정 사회 속에서 사회생활을 하는 사람들 중 다수가 공통적으로 인식하는 모든 사회문제에 대한 이해와 그 개선방향의 모색을 포괄한다. 이렇게 볼 때 여론조사는 정부나 정당, 각종 공공기관이나 단체는 물론 일부 대기업에서 실시하는 고객여론조사, 기업 이미지조사까지, 다양한 주체에 의해 다양한 형태로 실시되고 있다.

 

turkey_02.gifⅡ. 오늘날 여론조사에서 가장 중요한 주제는 다음과 같이 대별될 수 있다.

1. 사회 각 공공부분에서 시행하는 각종 정책의 입안과 시행과정에 대한 평가에 관련된 조사
민주화의 진전과 사회 각 부문의 자율성이 확대되면서 정부의 정책결정 과정 역시 과거 중앙집권적이고 상명하달식이던 권위적 구조에서 벗어나, 국민의 평가가 적극 수렴, 반영되는 상향식 구조로 전환되어 가고 있다. 중앙정부나 지자체에서 실시하는 각종 정책은 그 입안과정은 물론 시행과정에 있어서도 그 이해 당사자인 국민이나 기업 혹은 지방 거주민들에게 큰 관심의 대상이 되고, 그에 대한 평가가 선거라는 과정을 통해 드러나게 됨으로써 담당 주체인 중앙과 지방정부의 변화를 야기시키기도 한다.

따라서 각종 정책을 입안하고 시행하는 주체인 정부와, 정부로부터 각종 지원을 받는 사회단체들의 입장에서는 어떤 정책이나 사업을 입안하고 시행하려 할 경우 그에 대한 여론조사를 실시하고, 이를 제반 과정에 반영하기 위해 노력하게 되는 것이다. 여론조사는 단순히 여론을 측정하기만 하는 것이 아니라 여론의 형성과 방향의 설정에 영향을 주기도 한다.

 

2. 선거나 투표행위의 결과에 대한 예측이나 평가 및 투표 동기에 대한 조사
민주주의 사회는 선거라는 과정을 통해 정체와 정권의 담당자를 결정하는 사회체제이다. 또한 전술한 바와 같이 현대정치는 여론정치라고 할 수 있을 만큼 국민여론의 향방에 따라 움직이기도 한다. 따라서 정치인과 정당은 유권자들의 평가에 의해 그 성패가 좌우된다고도 말할 수 있다. 또한 사회의 각 부문이 정치에 의해 크게 영향을 받는 우리나라의 경우 국민들의 정치적 관심도가 매우 높다고 말할 수 있다. 각종 선거가 시행되면 TV 등 언론매체에서는 밤을 세우며 철야로 선거방송을 하고 또한 국민들 중 상당수도 밤을 세워 선거결과 중계를 시청하기도 한다. 그러한 선거조사 결과를 미리 알려 줌으로써 궁금증을 해소하게 할 수 있다. 또한 선거에 관련된 여론조사는 단지 선거결과를 사전에 예측하는 것뿐만 아니라 유권자인 국민들이 무엇 때문에 그러한 투표행위를 했는지, 그리고 선거결과에 대해 어떤 평가를 하고 있으며, 또한 당선자들이나 정당에 무엇을 요구하고 있는지를 조사하는 것도 그 주요한 영역에 포함된다.

 

3. 사회현안에 대한 여론수렴과 실태평가를 위한 조사
우리 사회 각 부문에서 발생하는 주요 현안들에 대해 국민들이 어떤 평가를 하고 있는 지를 살펴보는 것도 여론조사의 주요한 역할이다. 예를 들어 최근 우리사회에서 빈발하는 가족윤리 파괴를 지켜보는 국민들의 시각은 어떠하며, 그 해결을 위해 어떤 정책이나 제도가 시행되어야 한다고 생각하는지 알아보기 위해서 현안에 대한 여론조사를 실시한다. 또한 여론조사는 현상의 평가뿐만 아니라 국민 대다수인 보통사람들의 시각에서 바라보는 현상의 원인에 대한 진단도 포함될 수 있으며, 주요 사회현상의 실태 평가를 위한 도구로 시행되기도 한다. 예컨대 여성 흡연율 조사나 우리 국민들의 해외관광 실태 등에 관한 조사 등이 그 한 형태로 시행되고 있다.

 

4. 각종 공공기관이나 대기업 등에서 실시하는 이미지 및 제공되는 서비 스에 대한 이용자 만족도 조사
정부는 물론 각종 사회단체 등 사회적 역할비중이 큰 기관이나 단체는 제공하는 서비스를 통해 위상이나 이미지를 평가받고 있으며, 그 개선방향을 모색하기 위해 노력하고 있다. 이 경우 해당 기관이나 단체 혹은 기업들은 그들이 제공하는 공적 서비스의 수준을 측정하기 위한 객관적인 도구로 여론조사를 활용하게 된다.

 

5. 대표적 여론조사 방법

오늘날 거의 모든 여론조사는 표본조사의 형태로 진행되고 있다. 따라서 추출된 표본집단에 대한 접근방법에 따라 그 종류를 구분하는 것이 가장 바람직하다고 판단된다. 현재 여론조사에 서 가장 보편적으로 이용되는 조사방법은 개별면접, 전화조사, 우편조사이며, 대상집단의 특수 성에 따라 공중정보통신망인 PC통신망 등을 이용하는 조사가 일부 이용되기도 한다. 이들 조사방법은 각각 장단점을 가지고 있기 때문에 어느 조사의 형태가 보다 우월하다고 단적으로 말 할 수는 없다. 다만 조사상황에 따라 최선이라고 판단되는 조사방법을 이용하며, 경우에 따라 서는 몇가지 방법을 병행하여 사용하기도 한다. 최선의 조사방법을 찾기 위해서는 조사주제, 조사대상, 조사목적, 조사기간과 비용 등의 측면을 고려해야 하는데 다음에서 이들 조사방법의 따른 여론조사의 형태와 그 장단점을 간략히 기술해 보고자 한다.

 

1) 개별면접
개별면접은 면접원과 응답자가 서로 얼굴을 맞댄 대면적 상황에서 질문지에 기재되어 있는 질문들을 면접원이 묻고 응답자는 응답하는 문답방식으로 진행되며, 이 때 제공된 응답자의 응 답을 면접원이 질문지 안에 기입하는 형태를 취한다. 이와 같은 대면적 상황에서 숙련된 면접 원이 조사의 기본 취지를 응답자에게 직접적으로 설명하게 되면 응답자의 협조를 얻기가 쉽고, 또한 응답자가 면접원에 대해 신뢰를 갖게 되므로 진실한 응답을 이끌어 낼 수 있는 가장 효율 적인 방법이기도 하다. 그러나 이러한 대면적 면접에서는 후술할 전화조사나 우편조사의 경우 와는 달리 면접원과 응답자 양자간에 일시적이나마 인간관계가 형성되고, 상호 감정의 교류를 가져오게 됨으로써 면접 진행상 미묘한 문제를 야기하기도 한다.

 

예를 들어 개인의 신상이나 가정 생활상의 미묘한 질문을 해야 할 경우라면 응답자는 면접원과 대면하는 상황에서 자신을 완전히 노출해야 하는 부담을 가지게 되며, 그 결과 솔직하지 못한 응답을 할 가능성이 있다는 점을 연구자는 충분히 인식해야 하고, 면접원의 교육과 통제에 보다 많은 관심을 기울여야 한 다.

일반적으로 개별면접이 갖는 장점으로는 첫째로 수집된 자료의 신뢰도가 높고 둘째로 응답자 의 반응에 따라 깊이있는 질문이 가능하며, 셋째로 많은 양의 조사를 할 수 있다는 점이 있으나 비용이 많이 들고 기간이 길다는 단점을 가지고 있다.

 

여론조사에 주로 이용하는 개별면접의 형태는 다음과 같이 구분할 수 있다.
① 질문지의 형태에 따른 분류 : 표준화 면접과 비표준화 면접
② 조사장소에 따른 분류 : 가구방문 조사와 인터셉트 조사
③ 응답자 수에 의한 분류 : 일대일 개별면접과 집단심층면접

 

2) 전화조사

전화조사는 면접원과 응답자가 전화를 이용한 비대면적 상황에서 질문지에 기재되어 있는 질 문들을 면접원이 묻고 응답자는 응답하는 방식으로 진행된다. 전화조사는 개별면접에 비해 비 교적 조사 비용이 저렴하고 조사에 소요되는 기간이 단축될 수 있다는 점이 장점으로 꼽히는 반면, 조사내용이 매우 제한적으로 수용될 수밖에 없다는 점과, 실제 면접 진행시의 비대면적 상황이 응답을 왜곡시킬 수 있는 가능성이 높다는 단점이 있다.

 

전화 조사의 경우 전화의 보급률과 면접의 성공률(접촉률과 성공률)이 조사의 성패를 좌우하 는 핵심요소가 된다. 다시 말해 가구당 전화보급률이 100%에 이르지 못하는 상황에서는 모집 단을 구성하는 모든 구성원이 무작위적으로 표본추출되지 않는다는 문제점이 있다. 실제 조사 시 무응답률이 높으며, 응답거절자나 부재자에 대한 적절한 대체표본을 선정하는 절차를 엄격 하게 준수한다는 것이 현실적으로 매우 어렵기 때문에, 조사 결과의 신뢰성과 보편성에 문제가 발생할 소지가 있다. 전화조사시 소요되는 시간은 약 5분 이내가 적절하다고 하는데 이 경우 조사내용은 본 문항 기준 10문항 내외로 제한적이다.

 

전화번호부를 이용한 전화조사를 할 경우는 먼저 조사지점을 결정하고 가능한 한 최근의 전화번호부를 준비해야 한다. 우리나라의 경우 지역별 인명부(전화번호부) 1면당 약 5개의 세로 구획(칸), 그리고 각 칸당 120명씩 총 600여개의 전화번호가 기재되어 있으므로, 지역별 응 답자의 크기에 따라 전화번호부에서 몇 면을 리스트로 활용하여 조사할 것이며, 또한 각 면에 서는 몇 명의 응답자를 추출할 것인가를 결정해야 한다.

 

예를 들어 A지역의 총 조사대상자 수 가 100명이고, 동지역의 전화번호부가 100면으로 되어 있다면 모집단 대비 표본추출비율은 1 /600로, 전화번호부 1면당 1명의 응답자를 선정하되, 3째칸의 60번째 전화번호를 1차 접촉 대상 전화번호로 선정한다는 식이다. 전화번호부를 이용하는 전화조사의 신뢰도를 떨어뜨리는 가장 심각한 문제점은 최신의 전화번호가 공개되지 않고 있다는 점이다. 예컨대 1999년 현재 발간, 배포된 전화번호는 서울지역의 인명부의 경우에도 거의 1년전의 전화번호를 수록하고 있다.

 

일반적으로 국내의 가구 이동률은 연간 약 20% 이상에 이르는 것으로 알려져 있고, 더욱 심각한 점은 최근 일산이나 분당 등의 대도시 주변의 소위 신도시권역의 급격한 확대에도 불구 하고 해당 지역의 전화번호부에는 그에 관한 전화번호가 수록되어 있지 않다. 전화번호부를 이 용하는 조사의 경우는 선거조사와 같은 한정된 지역민들의 의견을 수렴하는데 장점을 가지게 되지만 만일 전국조사의 경우와 같이 지역적으로 광범한 단위의 조사에 있어서는 random digit dialing과 같은 조사기법을 활용하면 조사준비과정에 투여되는 시간과 인원 및 사전준비 비용을 절약할 수 있다. 그러나 이 조사기법이 갖는 문제점으로는 통화 접촉률이 전화번호부를 이용한 조사의 경우에 비해 떨어진다는 점을 지적할 수 있을 것이다.

 

3) 우편조사
우편조사는 연구자가 우편을 이용하여 사전 선정된 응답대상자들에게 질문지를 발송하고 그 들로부터 응답이 개재된 질문지를 반송받아 분석하는 조사방법이다. 비록 가구방문에 의한 개 별면접이 조사의 정밀성을 높이고 자료의 정확성을 확보할 수 있는 조사방법이라고 하더라도 조사환경이 점점 힘들어지고 있음을 부인하기 어렵다.

 

이러한 가구방문을 통한 개별면접의 난점을 극복할 수 있는 대안 중의 하나가 바로 우편조사 의 형태이다. 만일 우편조사의 주제가 정치적 상황에 대한 응답자의 판단이나 의견 등을 파악 하는 것이라면 응답자들은 먼저 자신의 주소나 신원이 노출되어 있다는 점을 감안하여 자신의 정치적 견해를 솔직히 밝히려 하지 않거나 응답 자체를 포기하게 되는 경우가 많았고, 연구자 나 조사자의 입장에서 그러한 응답의 성실성을 점검해 볼 수 있는 수단 또한 극히 제한적이었 던 것이 그간의 실상이었다. 그러나 오늘날 응답자의 조사에 대한 인식의 개선과 전화보급의 확대는 이와 같은 문제를 해결할 수 있는 여지를 제공하고 있다. 또한 총체적 조사설계기법의 발달로 오늘날의 우편조사기법은 그 정확성과 효율성이 크게 개선되었다고 말할 수 있다.

 

6. 여론조사는 어떻게 실시되는가?

1) 여론조사를 수행하는 과정을 단계적으로 살펴보기로 하자.
여론조사를 수행하기 위하여 먼저 여론조사의 목적과 여론조사의 대상이 되는 모집단을 명확히 설정해야 한다. 그 다음 단계로서 여론조사의 목적을 효율적으로 달성하기 위하여 표본설계를 하게 된다. (표본설계 과정에 대해서는 후에 ‘표본조사’에서 다시 기술하도록 하겠다.) 표본설계가 이루어 지고나면 여론조사의 기준시점과 기간을 비롯하여 조사 비용과 조사방법 및 집계방법 등에 관한 사항을 충분히 검토하여 확정하여야 한다. 또한 여론조사의 목적에 합당한 설문을 작성하고 예비조사를 실시하여 설문이 잘 작성되었는지를 확인하여야 한다. 질문서가 완성되고 나면 그 질문서의 내용을 직접 조사하게 될 조사원을 확보하고, 조사가 완벽하게 진행될 수 있도록 면접방법 및 기업방법 등을 교육시킨 다음 실시에 들어간다.

 

조사가 끝나고 질문서가 회수되면 각 질문서의 응답 내용을 확인한 다음에 집계하게 된다. 또한 집계한 결과는 통계적 분석을 거쳐 그 의미롸 함께 발표한다. 이롸같이 모집단의 설정을 비롯하여 통계적 분석에 이르는 모든 과정은 여론조사의 결과에 직접적인 영향을 미치게 된다. 특히 여론조사에서는 응답을 사실대로 얻어낼 수 있도록 적절한 질문서를 작성하는 것이 중요한 과제가 된다. 여론조사가 잘못 수행된 경우 중에는 부적절한 질문에 기인한 경우가 많다.

 

표본추출 방법과 표본크기의 결정은 비용과도 밀접한 관계가 있다. 우리는 여러 가지 제약조건 때문에 전수조사가 불가능하여 표본을 추출하여 여론조사를 수행한다. 그러나 정밀한 표본조사 이론에 의하면 표본추출에 의한 여론조사의 결과는 거의 정확할 뿐만 아니라 비용도 적게 즐고 신속하게 사실을 파악할 수 있게 된다. 더욱이 오차이론에 의하여 표본오차를 미리 셰산할 수 있기 때문에 일정한 정확도를 확보하기 위하여 필요한 표본수를 결정할 수 있게 된다. 이상과 같은 장점으 갖고 있는 표본조사법에 의하여 진행되는 여론조사는 객관적으로 그 신뢰성을 인정받게 된다. 그럼 더 구체적으로 여론조사의 진행과정에 대해 살펴보도록 하겠다.

 

turkey_16.gif2) 여론조사의 진행과정
여론조사는 일반 마케팅조사와는 달리 대부분 일반 대중을 상대로 조사를 진행하게 되며 조 사의 의뢰인이 보통 공공기관인 경우가 대부분이므로 여기서는 이 경우에 초점을 맞추어 설명 하기로 한다. 여론조사의 절차는 조사 의뢰인이 조사의 규모나 조사방법, 조사항목 등을 구체 적으로 결정하고 난 후 조사기관을 선정하여 실제의 수행을 의뢰하는 경우와, 이와는 달리 의 뢰인 측에서 조사의 필요성은 제기하지만 구체적인 조사방법이나 조사규모, 조사항목 등을 제 시하지 못하는 경우로 크게 구분될 수 있다.

① 조사의 필요성과 문제의 제기
의뢰인이 조사가 필요하다고 판단되는 현상에 대한 문제를 제기하고 그것의 실시를 입안하는 단계이다. 이때 조사기관의 연구자가 참여하는 경우 조사 의뢰인은 솔직하게 조사의도나 추후 활용방안에 대해서까지 조사기관의 연구자에게 알려 주어야만 소기의 목적을 거둘 수 있다는 점을 명심해야 한다.

② 현상의 명료화와 구체화
의뢰인은 알아보고자 하는 현상을 연구자가 명료화하고 그 문제가 조사로 진단되거나 평가될 수 있는 내용의 문제로 재조립하는 과정이다. 이 때 제시된 문제에 대해서는 그것이 어떠한 현 상과 상호 관련되어 있는지 또한 그 문제의 진행과정과 결과로 어떤 것이 상정될 수 있는지를 살펴 봄으로써 조사의 예상효과를 명백히 한다.

③ 조사계획의 입안
조사입안자가 조사발주에 앞서 조사계획을 입안하는 경우에는 위의 단계에서 제시된 바와 같 이 제기된 문제를 명료화하고 구체화한 후 조사내용, 조사일정, 조사방법, 조사비용 등을 정리 하는 작업이 필요하게 된다. 만일 이 단계를 조사기관에 의뢰한다면 해당 조사기관에서는 조사 계획서(proposal)라 부르는 문서를 제출하게 된다. 일반적으로 다음과 같은 항목들이 제시된다.
ⓐ 조사목적
ⓑ 조사 내용
ⓒ 조사의 이론적 모형
ⓓ 조사방법
- 조사종류 / 표본추출방법/ 조사의 정확도
- 면접대상자 확보방법
ⓔ 조사결과의 집계방법
ⓕ 조사결과 보고방법
ⓖ 조사일정
ⓗ 조사시 투입 인원
ⓘ 조사비용

④ 조사실시 기관의 확정 및 계약
조사입안자가 실제 조사용역을 수행할 조사기관을 선정하는 단계로 조사기관들이 제출한 계 획서의 타당성과 적절성에 비추어 선정하는 것이 바람직하다.

⑤ 질문지 확정과 조사실시
조사담당 기관이 결정되면 해당 조사기관은 의뢰인 측 담당자와 상의하여 질문지를 확정하게 되며, 이때 조사기관은 사전조사를 실시하여, 실제 조사의 진행과정에서 예상될 수 있는 문제 점들을 최소화할 수 있도록 노력하는 것이 바람직하다. 조사는 사전 제출한 조사계획서에 따라 조사를 진행하게 되며, 조사의뢰인은 조사담당자와 긴밀한 협조관계를 유지하면서 조사의 진행 상황과 시행상의 문제점을 검토한다.

⑥ 조사결과의 보고
조사담당기관이 조사결과에 대한 보고서를 제출하는 최종단계이다.

 

7. 여론조사의 예

조사기관에서는 15대 국회개원을 앞두고, 지난 5월 20일에서 21일 사이에 전국의 성인 남녀 1000명을 대상으로 전화조사를 실시한 결과, 국회의 본질적인 기능(복수응답)으로 지역민원해결에 대한 지적률이 58.3%로 입법업무(56.2%)나 예결산심의(44.6%), 국정감사업무(32.4%)보다 높았으며, 15대 국회가 관심을 가져야 할 분야로는 경제문제에 대한 지적률이 70.5%로 압도적으로 높아, 생활개선중심의 국회역할에 대한 기대가 큰 것으로 나타났다.

 

이상은 여론조사 결과를 기술하는 전형적인 예이다. 이 예를 좀더 체계적으로 기술하면 다음과 같다.

ⓐ 조사 대상 : 전국의 만 20세 이상 성인 남녀
ⓑ 표본 크기 : 1000명
ⓒ 접근 방법 : 구조화된 설문지를 통한 전화면접
ⓓ 표본추출방법 : 가구 선정 - 전화번호부를 이용한 체계적 추출법
응답자선정 - 지역별, 성별, 연령별 인구구성비를 이용한
할당추출법
ⓔ 표집 오차 : 95%신뢰구간에서 ±3.1%
ⓕ 조사 시기 : 1996년 5월 20일 ~ 21일

조사대상이란 여론조사를 통해 추정하고자 하는 대상집단의 추상화된 전체이며, 이를 모집단이라고 부르기도 한다. 이런 조사대상 중 일부를 무작위로 선택하여 실제로 조사한 집단을 표본집단이라고 하며, 실제 조사한 사례수를 표본크기라고 한다. 표본은 전체 모집단의 특성을 잘 대표할 수 있도록 추출되어야 하며, 만약 적합한 방법을 통해 표본집단이 추출되었다고 하면, 표본크기는 표집오차를 가늠하는 매우 중요한 준거가 된다. 그래서 표본크기를 반드시 명시하는 것이 중요하다. 그 다음으로 표집오차는 조사결과가 얼마나 정확한가를 나타내 주는 지표로서, 95% 신뢰구간에서 ±3.1%라는 점은 조사결과에 나타난 비율의 ±3.1% 이내에 모집단의 특성치가 존재할 확률이 95%라는 의미이다. 또한 조사시기를 밝히는 것도 중요한데, 조사시기에 따라 조사결과에 많은 차이를 보일 수 있기 때문이다.

 

8. 빗나간 여론조사

1) 대통령 선거와 빗나간 여론조사

1936년 이 해에 <리터라리 다이제스트 Literary Digest>지는 여론조사로 큰 실수를 저질렀다. 그 한번 앞인 1932년의 대통령 선거 때 결과를 정확히 예측케 해준 표본들의 명부 중에서 전화를 소유하였거나 <다이제스트>지를 구독하는 사람 등 1,000만 명을 표본으로 삼고 조사를 했다. 그런데 이 운이 나쁜 잡지의 편집진은 알프레드 E. 랜던(Alfred E. Landon)후보 370표에 대해 프랭클린 D. 루스벨트(Franklin D. Roosevelt)후보 161표가 될 것이라고 확신을 갖고 예언했던 것이다.

 

1932년도에는 바르게 예언해 주었던 사람들의 명부에서 뽑아낸 이 표본에 어째서 왜곡이 들어갈 수 있었을까? 그러나 그 사건의 이유의 해명을 테마로 한 학생들의 졸업 논문이나 기타의 여러 사후 조사에서 밝혀진 바에 의하면 이 표본은 실제로 왜곡되어 있었다. 그 이유로서는 1936년 당시에 전화를 소유하였거나 잡지를 구독할 수 있을 만큼의 재력을 가진 사람들이란 투표자 전체를 대표하는 표본은 될 수 없었던 것이다. 경제적으로 그들은 특별한 층의 사람들로서 공화당 지지층에 가까웠던 것이다. 그래서 이 표본은 랜덤을 선출했지만 전투표자는 이와는 반대로 루스벨트를 대통령으로 선출했던 것이다.

 

1948년 선거에서는 거의 모든 여론조사가 공화당의 토마스 E. 듀이(Thomas E. Dewey) 뉴욕 지사의 승리를 예언했다. 그러나 뚜껑을 열어 본 결과 선거인단의 표수는 해리 S. 트루먼(Harry S. Truman) 303표대 토마스 듀이 189표였고 민주당의 반대세력이 옹립한 j. 스트롬 더몬드(Strom Thurmond)는 39표였다. 또 1952년의 대통령선거에서는 모든 여론조사가 민주당의 애들라이 E. 스티븐슨(Adlai E. Stevenson)의 대승리를 예언했었다. 그러나 선거결과는 드와이트 E. 아이젠하워 원수가 442대 89로 스티븐슨을 눌러 대승하였다.

1929년부터 10년간 <리터라리 다이제스트(Literary Digest)>지는 대통령 선거 때마다 지상투표식 여론조사(straw polls)를 실시하여 꽤 성공을 거두었다. <리터라리 다이제스트>지의 조사방법은 전화번호부와 자동차 소유자 명부에 실린 수만 명의 사람에게 엽서 조사표를 보내는 것이었다. 평균소득수준 이상의 투표자가 민주당과 공화당 쪽에 투표하는 비율과 똑같은 패턴으로 저소득층도 투표한다고 가정하면 위의 ‘지상투표식 조사방법’은 정확하다고 할 수 있다.

그러나 ‘뉴딜(New Deal)'정책이 시작되면서부터 미국 선거민의 계층간 분화가 뚜렷해지기 시작해서, 한때 민주당을 지지하고 있었던 중산층 이상 계층은 공화당을 지지하게 되었으며, 저소득층은 민주당 지지를 표명하게 되었다. 분명히 그 당시 경제적으로 여유가 있는 사람들의 특권이라고 할 수 있는 전화가입자나 자동차 소유자를 대상으로 실시한 여론조사로는 1936년 선거에서 공화당의 득표수가 압도적인 것이라고 예측되었다.

 

<리터라리 다이제스트>지의 선거 전 최종 여론조사에 의하면 랜던(Landon) 지지 57%, 루스벨트 지지 43%이었다. 그러나 랜던은 패배하였다. 뚜껑을 열어 보니 랜던이 37.5%, 루스벨트가 62.5%로, 루스벨트가 과반수 이상을 획득하여 승리한 것이었다. 19%이상이나 틀린 것은 여론조사 사상 최대의 오차였다.

이로 인하여 <리터라리 다이제스트>지의 여론조사 방법은 그림자조차 남기지 않은 채 사라질 운명이 되었으며, 그것 대신에 갤럽조사소와 엘모 로퍼(Elmo Roper) 및 아치볼드 크로슬리(Archibald Crossley) 조사기관에서 이때 처음으로 사용한 새로운 표본추출 방법이 주목받게 되었던 것이다. 이 때 <리터라리 다이제스트>지는 1천만 장의 엽서조사표를 발송하였다. 이 숫자는 그 당시 가구수를 기준으로 3집에 1장 꼴로 배달된 것이었다. 그리하여 2백 36만 7천 2백 3십 명이 엽서조사표에 의견을 적어 회송하여 왔다.

 

조지 갤럽은 1933년에 새로운 추출기법에 대해서 실험을 한 바 있다. 그 결과에 따르면 1935년에는 선거민의 정당지지성향에 커다란 변화가 일어나고 있었다. 즉, 양극화가 급속히 진행되어 고소득층은 우측, 저소득층은 좌측으로 그 정당지지의 경향이 뚜렷하게 나타났다.

 

1936년 대통령 선거운동을 시작한 시점에서 <리터라리 다이제스트>지의 조사방법으로는 부정확한 숫자밖에 나타날 수 없음이 확실해졌다. 갤럽조사소에서 시험적으로 새로운 조사기법을 적용한 조사에 의하면 전화가입자의 대다수가 랜던을 지지했지만, 생계보호를 받고 있는 사람 중에서 랜던을 지지한 사람은 겨우 18%라는 결과가 나왔다.

<리터라리 다이제스트>지의 예측이 잘못될 수밖에 없음을 일반에게 알리기 위해 갤럽은 선거운동이 시작되었을 때 신문에 특별기사를 썼다. 그것은 1936년 7월 12일자 여러 신문에 실렸다. 이 기사의 내용은 <리터라리 다이제스트>지의 조사결과에서는 루스벨트 지지율 44%, 랜던 지지율 56%로 나타났으나, 이것은 분명히 틀릴 것이라는 것이었다. 그리고 그 이유를 자세하게 설명하였다.

 

분개한 <리터라리 다이제스트>지의 편집자는 다음과 같이 반박했다.

"우리들의 여론조사가 앞으로 어떤 결과를 보여 줄 것인가에 대해서 틀린다 맞는다는 식의 예언되기는 처음이다. 통계학에 강한 우리의 조지 갤럽 옹에게 말해 두고자 한다. <리 터라리 다이제스트>지는 항상 백발백중했던 이 구식 방법을 앞으로도 밀고 나갈 작정이 다.” 뚜껑을 열고 본즉 <리터라리 다이제스트>지의 여론조사의 최종결과에 대한 갤럽의 예측이 그대로 적중하였으며, 그 예측의 오차율은 겨우 1%에 지나지 않았다. 언뜻 보기에는 갤럽의 예측이 어리석기까지 한 아슬아슬한 재주로 보였는지 모르나, 실제로 그 예측이 빗나갈 위험성은 거의 없다고 해도 좋았다.

갤럽조사소는 다만 <리터라리 다이제스트>지의 조사표를 받은 사람 가운데 겨우 3,000명을 뽑아 같은 조사표를 보냈을 뿐이다. 확률의 법칙을 검토한 결과, 이 3,000명의 표본은 <리터라리 다이제스트>지의 2백 36만 7천 2백 3십 명의 표본과 같은 결과를 얻을 수 있음이 분명했기 때문이다. 그리고 실제 3,000명의 표본으로 같은 결과가 얻어진 것이다.

새로운 표본추출 방법에 따른 여론조사를 통해 갤럽여론조사소에서는 1936년 선거에 있어서 랜던 지지가 확실한 주는 메인(Maine)주, 버몬트(Vermont)주, 뉴 햄프셔(New Hampshire)주 세 곳뿐이라는 것을 발표하였다. 조사의 최종결과는 루스벨트 56%, 랜던 44%였다. 이 예측의 오차는 6.8%로 밝혀졌는데, 이는 갤럽여론조사가 경험한 오차 중에 가장 큰 것이었다.

 

그러나 최종적으로 어느 쪽이 이길 것인지는 올바르게 예측했기 때문에 사람들은 갤럽여론조사소에게, 분에 넘치는 큰 신뢰를 보여주었다. 그러나 아무튼 <리터라리 다이제스트>지만이 예측이 빗나간 경험을 겪었던 것은 아니다. 어느 조사기관에서도 한두 번은 그와 같은 비참한 경우를 맛보게 된다. 갤럽여론조사소도 또한 그 예외는 아니다.

1948년 선거에서 갤럽조사의 예측이 실제와 5.4%나 빗나갔던 일이 있었다. 그러나 이 차이는 위에서 언급한 6.8%보다는 작은 것이었는데 아이러니컬한 것은 사람들의 반응이 전혀 달랐던 것이었다. 대부분의 여론조사가 우세한 후보자를 알아맞히지 못하는 것은 표본의 수가 부족해서가 아니라 다른 요인에 의해서 그런 것이다.

지는 그 후 얼마 안가서 폐간되었는데, 그것은 1936년 선거의 예상이 크게 빗나갔기 때문이기도 하였지만, 새로 창간된 뉴스 잡지 이 많은 독자들의 관심을 끌게 되었기 때문이다.

 Copyright 2001-2005 ⓒ Toronsil.com All Rights Reserved E-mail: webmaster@toronsil.com

댓글목록

등록된 댓글이 없습니다.

지식정보Home>커뮤니티>지식정보
Total 5,816건 383 페이지
지식정보 목록
제목내용
86 정보지식
좋은 토론과 원칙 1강좌 
토론실 hit:1293 01-10
85 정보지식
의사소통이란 2강좌 
토론실 hit:1405 01-10
84 정보지식
통계 여론조사_03 1강좌 
토론실 hit:1748 01-10
83 정보지식
통계 여론조사_02 1강좌 
토론실 hit:1525 01-10
열람중 정보지식
통계 여론조사_01 2강좌 
토론실 hit:1481 01-10
81 정보지식
철학이란 무엇인가_02 2강좌 
토론실 hit:1043 01-10
80 정보지식
철학이란 무엇인가_01 2강좌 
토론실 hit:1477 01-10
79 정보지식
78 정보지식
77 정보지식
76 정보지식
토론식 교수법 06강좌 
토론실 hit:1448 01-10
75 정보지식
토론식 수업 6강좌 
토론실 hit:1200 01-10
74 정보지식
73 정보지식
교육철학_03 2강좌 
토론실 hit:1566 01-10
72 정보지식
교육철학_02 6강좌 
토론실 hit:2083 01-10
게시물 검색

회원로그인

회원가입


운영자 SNS커뮤니티


https://www.facebook.com/groups/1987117991524411 https://www.facebook.com/acetraveler12 https://www.facebook.com/FlindersUniversityDebatingSociety https://twitter.com/acetraveler1

https://story.kakao.com/_d36z15 https://band.us/band/72550711 http://cafe.daum.net/acetraveler http://blog.daum.net/acetraveler

https://pf.kakao.com/_xocRxjK https://story.kakao.com/ch/toronsil2001 https://toronsil.tistory.com https://m.post.naver.com/acetraveler

https://blog.naver.com/acetraveler https://cafe.naver.com/toronsilsince2001 https://timeline.line.me/user/_dZVn8dOub0-9zubHJ-7LNDBubziVSzUT0jK3hn0 https://open.kakao.com/o/ghmiAdpc

https://www.instagram.com/acetraveler12 https://www.instagram.com/acetraveler12/channel/ https://www.tumblr.com/blog/toronsil https://www.youtube.com/channel/UChSQEwnxoTgesALkVkL_PKA

https://ameblo.jp/firest12/ http://acetraveler.blogspot.com/ https://www.reddit.com/user/acetraveler12 https://ok.ru/profile/585384389039

https://www.pinterest.co.kr/firest12/%ED%86%A0%EB%A1%A0%EC%8B%A4-%EC%82%AC%EC%9D%B4%ED%8A%B8/ https://vk.com/id614494296 https://vk.com/public198641212

https://tv.kakao.com/channel/3743718 https://www.linkedin.com/in/min-seob-lee-9a1b1729


사이트 정보

대한민국 토론커뮤니티-토론실 대표: 이민섭
☎ TEL 010-7670-7720 대한민국 서울특별시 동대문구 회기로 12길 37-5, 401호
Copyright © 2001 ~2024 토론실(toronsil.com) All Rights Reserved.
Mail : acetraveler@naver.com

여럿 빠뜨리고 벼락치기로 몰아서 몇 개 올리는 챗 GP…
대한민국 법원 주요 판결 2024년 6월 12일 아침 …
대한민국 법원 주요 판결 2024년 6월 10일 정리 …
미국 연방 대법원 주요 결정 2024년 6월 9일 정리…
프랑스 헌법재판소 (Le Conseil constitu…
독일 연방헌법재판소 주요 결정 2024년 6월 9일 정…
대한민국 법원 주요 판결 2024년 6월 9일 정리 결…
대한민국 법원 주요 판결 2024년 6월 6일 정리 결…
2024년 6월 1일 대한민국 헌법재판소 주요 결정 정…
2024년 5월 30일 대한민국 법원 주요 판결 정리 …
2024년 5월 27일 대한민국 법원 주요 판결 정리 …
2024년 5월 26일 대한민국 헌법재판소 주요 결정 …
2024년 5월 23일 대한민국 법원 주요 판결 정리 …
(펌글)법무부, ′24년 1차 불법체류 외국인 정부합동…
(펌글)장애인 편의시설 설치율 89.2%로 ‘18년보다…
조규홍 본부장 주재 중앙사고수습본부 제31차 회의 개최…
(펌글)장애인고용공단-아이티센그룹 ‘자회사형 장애인표준…
(펌글)신직업 및 유망산업 분야 현직자의 생생한 취업 …
(펌글)인공지능(AI) 시대의 청년취업, 「고용24」와…
(펌글)(참고) 고용률ㆍ경제활동참가율 3월 기준 역대 …
(펌글)(설명) 환경부는 기후적응법 제정을 추진한 바 …
(펌글)국립공원 암벽장 55곳 합동 안전점검
(펌글)(동정) 제2의 볼티모어 교량 충돌사고 대비한다
(펌글)통일부 북한정보포털 대문 화면
(펌글)2024.4.12. 대한민국 법원 대국민서비스 …
(펌글)발코니 벽 해체에 아랫집 소송···대법원 "위험…
(펌글)전세금 돌려준다 속이고 점유권 이전한 집주인, …
[펌글]국적 잃을뻔한 다문화 남매...대법 "주민등록증…
[펌글]2024. 4. 10. 각급법원(제1,2심) 판…
2022년 12월 9일(금) 일기(다이어트, 청취력 회…
2022년 12월 2일(금) 일기(다이어트, 청취력 회…
2022년 11월 28일(월) 일기(다이어트, 청취력 …
2022년 11월 22일(화) 일기(다이어트, 청취력 …
2022년 11월 17일(목) 일기(다이어트, 청취력 …
2022년 11월 12일(토) 일기(다이어트, 청취력 …
2022년 11월 7일(월) 일기(다이어트, 청취력 회…
2022년 11월 4일(금) 일기(다이어트, 청취력 회…
2022년 10월 17일(월) 일기(다이어트, 청취력 …
2022년 10월 10일(월) 일기(다이어트, 청취력 …
(토론실 사이트 펌글)IDS X KIDA Korea 2…
2022년 9월 24일(토), 25일(일) 일기(다이어…
(토론실 사이트 펌글)IDS X KIDA Korea 2…
2022년 9월 21일(수), 22일(목), 23일(금…
2022년 9월 20일(화) 일기(다이어트, 청취력 회…
2022년 9월 19일(월) 일기(다이어트, 청취력 회…
(토론실 사이트 펌글)IDS X KIDA Korea 2…
2022년 9월 17일(토), 18일(일) 일기
2022년 9월 18일(일) 일기(체중변화 기록, 20…
(토론실 사이트 펌글)IDS X KIDA Korea 2…
2022년 9월 15일(목), 16일(금) 일기
Copyright © toronsil.com. All rights reserved.