설문 조사를 실시하고 그 결과를 분석하고 보고서를 작성하는 근본적인 이유는 의사결정 지원입니다. 설문 조사의 결과는 의사결정을 좀 더 잘 할 수 있도록 유용한 정보를 제공해야 합니다.

시장 조사를 기준으로 조사 보고서의 순서는 조사의 배경과 목적, 조사 설계의 개요, 응답자 특성, 요약 및 결론, 조사 결과 순으로 구성하는 것이 일반적이다. 조사의 대략적인 개요를 이해한 후에는 의사결정에 필요한 주요 정보를 먼저 파악할 수 있도록 두괄식으로 보고서를 구성하고 필요하다면 한 장으로 시사점을 요약하는 것이 좋습니다.

보고서를 작성하다보면 자칫 교차통계표를 그래프로 옮기는 작업에만 매몰되기 쉬운데 보고서가 교차통계표를 그래프로 옮겨 놓은 것에 불과하다면 차라리 보고서를 작성하지 말고 교차통계표의 수치를 읽는 것이 더 효과적입니다. 우리가 설문 조사를 실시한 목적으로 돌아 가 보면 우리는 문제에 대한 원인을 파악하고 해결책을 찾기 위해 설문 조사를 실시했음을 알 수 있습니다. 예를 들어 우리가 담당하고 있는 제품의 매출이 지속적으로 감소하고 있으며 이것이 소득의 감소나 전체 시장 규모의 축소를 상회하고 있어 물리적 제품과 서비스 자체에서 문제를 파악해 보기 위해 소비자들을 대상으로 설문 조사를 기획했다고 가정해 보겠습니다. 영업팀의 의견과 소비자 의견, 선행조사 등 다양한 자료를 근거로 설문을 구성하고 소비자를 대상으로 설문 조사를 실시한 후 조사 결과를 얻었다면 조사결과 보고서는 의사결정에 필요한 정보를 제공할 수 있도록 구성되어야 합니다. 보고서에는 의사결정자가 기존 제품의 장점을 강화하거나 약점을 보완하는 방향으로 제품을 개선할지, 아직 우리와 경쟁자들이 잘 해결하지 못하고 있는 소비자의 문제점을 해결해주는 신제품을 개발할지, 목표시장을 변경할지, 유통채널이나 커뮤니케이션 채널을 다변화할지 등 의사결정에 필요한 정보를 담아야 합니다.

보고서의 흐름 역시 정보 제공이라는 관점에서 소비자의 문제는 무엇이며, 시장에서 제공하는 해결책은 무엇이며 우리는 어떤 해결책을 제공하는지를 유기적으로 연결하여 구성해야 합니다. 소비자가 우리 제품이 속한 제품군에 관련된 정보를 접하는 채널에 대한 질문을 했고 이를 근거로 교차통계표를 작성했다면 단순히 이를 차트화하는데 그칠 것이 아니라 우리 제품을 구매한 소비자들의 정보접촉채널과 경쟁 제품을 구매한 소비자들의 정보접촉채널을 비교하는 내용을 추가해 의사결정자가 정보접촉채널의 재조정을 가능한 대안으로 고려할 수 있도록 배려해야 합니다. 개별 페이지 혹은 장표 역시 해당 페이지에서 전달하고자 하는 정보 뿐만 아니라 전달하고자 하는 정보의 해석에 필요한 설명을 추가해 이해도를 높여야 합니다. 좀 더 신속하게 내용을 이해할 수 있도록 개별 페이지 내에는 제목 외에도 핵심 내용을 전달하는 머리글을 제시하고 다시 상세 설명을 달아주고 좌상단에서 우하단으로 자연스러운 시선의 흐름을 따라 정보를 파악할 수 있도록 제목과 문단 및 차트를 배치해야 합니다. 중요한 정보나 페이지를 이해하는데 필요한 설명은 공간이 허락하는 한 가급적 좌측, 상단에 배치합니다. 또한 필요하다면 보고서를 이용하는 사람이 궁금한 사항이 있어 교차통계표를 보고자 할 경우 쉽게 대조할 수 있도록 차트에 해당하는 설문지 상의 질문도 명기해 편의를 도모하는 것이 좋습니다.

조사결과 보고서에 들어가는 차트 역시 의사결정에 유용한 정보를 효과적으로 전달할 수 있도록 작성해야 합니다. 불필요한 디자인 과잉으로 차트를 보는 사람의 주의 집중을 방해하지 않도록 유념합니다.

조사 보고서를 생산한 후에 형식적인 보고에 그치고 조사 보고서의 결과 자체를 부정하거나 조사 보고서의 결과를 맹신한 결과 당연히 따라야 할 후속 집행상의 의사결정을 간과한다면 기대하는 성과를 얻을 수 없습니다. 만약 그 간의 경험과 소비자 조사를 통해 영유아 자녀를 둔 젊은 부부들이 극장에서 영화를 관람하고 싶은 요구가 있지만 마땅한 해결책을 발견하지 못하고 있다는 사실을 발견했다면 이를 어떻게 해결할지는 전적으로 극장 측이 결정할 사안이다. 영유아 자녀를 고려해 극장 좌석을 가족용으로 개조한 상영관을 만들지, 영유아를 돌 볼 수 있는 극장 내 시설을 설치할지, 인근 보육원과 연계한 단체 관람 서비스를 개발할지, 혹은 비용과 현재의 역량, 영화 관람 시장의 상황을 고려해 처음부터 유자녀 부부들의 극장 영화 관람 욕구를 무시할지를 결정하는 주체는 소비자가 아니라 극장 측입니다. 조사 결과를 의사결정에 활용함에 있어 이것 아니면 저것이라는 식의 극단적인 선택만 존재하는 것이 아니라 어떤 대안을 선택하고 어떻게 구체화하는가와 관련해 무수한 선택지가 존재합니다. 설문 조사는 이러한 선택지의 가능성을 보여주는 정보 제공 수단이며 의사결정을 제한하거나 대체하는 수단이 아닙니다. 더구나 의사결정자의 결정을 정당화하는 수단도 아닙니다.

조사 보고서를 활용함에 있어서 전략적 관점도 간과하면 안 됩니다. 우리 제품의 시장점유율이 높지 않고 우리가 후발주자라면 단순히 우리 제품에 만족하지 않는 고객의 불만족 이유에만 주목할 것이 아니라 경쟁 제품에 불만족한 소비자의 불만족 이유, 한걸음 더 나아가 경쟁 제품에 만족하지만 개선이 필요하다고 생각하는 부분까지 점검해서 경쟁 제품에 대한 소비자 인식에 균열을 가져올 공격 지점을 찾아야 합니다.

설문 조사 결과가 시사하는 정보와 상반된 의사결정을 해야 한다면 그러한 의사결정을 하는 근거를 생각해 보아야 할 것입니다. 5G서비스가 상용화되면서 AR·VR 콘텐츠에 대한 소비자들의 관심이 높아져 설문 조사 결과 AR·VR 콘텐츠에 대한 호감도가 높게 나타났다고 하더라도 이를 그대로 수용해 의사결정에 반영하는 것은 위험할 수도 있을 것입니다. 산업의 기술발전 수준과 보안 문제 등을 고려할 때 시장 선도자로서의 이득(first mover advantage)보다는 승자의 저주(winner's curse)에 빠질 우려가 있다면 성급한 시장 진입을 잠시 보류하고 예상되는 핵심적인 문제 해결에 집중하면서 경쟁자에 대한 공격 기회를 노리는 선택이 더 좋은 결과를 가져 올 수도 있습니다.

회귀분석 ①

  단순회귀분석의 사례를 알아 보기 위해 다음과 같은 사례를 생각해보기로 합니다. 운동화를 판매하는 기업이 기존 오프라인 유통점을 줄이고 스포츠 체험이나 사진 촬영 등이 가능한 체험형 유통점을 늘려 나가기로 결정했다고 가정해 보겠습니다. 체험형 유통점에서는 현장에서 바로 구매할 수도 있고 해당 운동화 브랜드 온라인 쇼핑몰의 본인 장바구니에 담아 둘 수도 있다고 하겠습니다. 또한 기존의 편의점(CVS) 및 기업형 슈퍼마켓(SSM)과의 제휴를 통해 시내 중심가에 위치한 체험형 유통점에서 제품을 고른 후 결제하고 제품은 소비자가 거주하고 있는 지역 인근이나 이동 경로에 위치한 편의점 및 기업형 슈퍼마켓에서 수령할 수 있게 함으로써, 평일에는 근로와 혼잡한 대중교통 이용으로 쇼핑이 용이하지 않지만 운동화에 대해 관심이 많은 소비자들의 평일 오프라인 운동화 쇼핑활동을 촉진하기로 결정했다고 해보겠습니다. 그런데 체험형 유통점을 운영할 경우 보통의 유통점보다 내점 고객에 대한 응대가 많아져 기존 인력만으로는 만족할 만한 서비스 제공이 어렵지만 단기적으로 매출이 늘지 않는 상황에서 투입 인력을 증가시킬 수 없어 체험형 유통점에 내점하는 고객들의 서비스 만족도가 재방문의향에 어느 정도 영향을 미치는지 알아보고 단기적으로 예상매출감소가 용인할 만한 수준이라면 의미 있는 매출의 증가가 있을 때까지는 체험형 유통점 직원을 증가시키지 않기로 했다고 생각해 보겠습니다. 이를 알아보기 위해 체험형 유통점 내방 고객 300명을 대상으로 설문 조사를 실시하여 매장 재방문 의향과 직원 서비스 만족도를 평가했다고 종속변수 Y는 재방문의향, 독립변수 는 직원 서비스 만족도인 단순선형회귀분석을 적용해 보기로 했습니다.

  이 때, 재방문의향 Y와 직원 서비스 만족도 의 관계를 나타내는 회귀선을 어떻게 구할 것인가가 문제될 것입니다. 회귀선을 구하는 방법은 실제 Y값과 회귀선을 통해 추정한 값 (Y hat)의 차이 즉 잔차 e==a+bx의 제곱합을 최소화하도록 a와 b를 추정하는 것입니다. a와 b는 α와 β의 추정량이다. a와 b는 표본을 통해 얻어지는 추정량이라는 뜻에서 소문자로 표기하였다. 이렇게 자료에서 회귀식으로 설명하지 못하는 잔차항의 제곱합이 최소가 되도록 회귀계수의 값을 추정하는 방법을 최소자승추정법이라고 합니다.

  R에서 단순선형회귀분석을 실행하기 위해서는 lm(종속변수~독립변수,data= 분석 대상 데이터) 형식으로 명령어를 실행하면 됩니다. 키와 몸무게의 관계와 같이 절편항이 없는 회귀식이 있을 수 있습니다. 이럴 때에는 lim(Y~X-1,data=SR) 형태로 명령어를 변경해 주면 됩니다. R에서 분산분석을 실행하는 명령어는 aov(종속변수~독립변수, data=분석 대상 데이터)였는데 독립변수와 종속변수의 형태만 정확하게 입력했다면 분산분석에서도 lm 명령을 활용할 수 있습니다.

단순선형회귀모형에 대한 분산분석표와 회귀분석 결과 요약은 아래와 같습니다. 사례의 단순선형회귀무형은 유의미한 것으로 나타났습니다. 단순선형회귀분석에서는 독립변수와 종속변수가 각각 한 개씩 이므로 분산분석표에서의 F 통계량의 값과 개별 회귀계수에 대한 검정통계량인 T통계량이 완전히 동일하게 됩니다. 아래 회귀분석 결과의 요약 summary(output)에서 회귀계수 β에 대한 t통계량의 값은 4.991이고 이를 제곱하면 F 통계량의 값이 됨을 확인할 수 있습니다.

  위의 회귀분석 결과의 요약에서 residual은 잔차를 의미합니다. min은 전체 자료에서 가장 작은 값, max는 가장 큰 값을 말합니다. median은 자료를 크기 순으로 배열했을 때 중간에 위치한 값입니다. 그 외 1Q는 제1사분위수(first quartile)- 자신보다 작은 값들이 전체 자료에서 차지하는 비율이 25%인 값을 말하고 3Q는 제3사분위수(third quartile)-자신 보다 작은 값들이 전체 자료에서 차지하는 비율이 75%인 값입니다. 이들 min, max, median, 1Q,3Q를 보는 이유는 이들 다섯 가지 수치를 보면 분포의 형태를 짐작할 수 있기 때문입니다. 이들 다섯 가지 수치를 포함하여 boxplot을 그려보면 아래와 같습니다. 다소 비대칭인 모습을 보여 좀 더 살펴볼 필요가 있어 보입니다.

> boxplot(resid(output))

  R에서 실행한 단순선형회귀분석의 결과에서 Multiple R-squared는 회귀분석모형이 자료를 얼마나 잘 설명하는지를 나타내는 결정계수입니다. 결정계수는 회귀분석을 통해 얻은 Y의 추정값과 Y의 평균값의 차이를 제곱하여 더한 SSR(regression sum of square)을 실제 Y 값과 Y의 평균값의 차이를 제곱하여 더한 SST(total sum of square)로 나눈 값입니다. 실제 Y값과 Y의 평균값의 차이 중에서 회귀식이 설명하는 부분이 커지면 SSR 역시 커질 것이므로 결정계수 역시 큰 값을 가지게 됩니다. 결정계수는 독립변수가 증가하면 할수록 실제 설명력과는 무관하게 증가하는 문제를 갖고 있습니다. 이러한 문제를 해결하기 위해 자유도를 반영하여 독립변수가 증가하여 자유도가 증가하는 만큼 설명력이 증가하지 못하면 수치가 감소하도록 보정한 것이 수정결정계수(adjusted R-squared)입니다. 아래 수정결정계수 산출식에서 n은 표본크기, k는 독립변수의 개수입니다.

 R을 이용해 사례의 회귀분석 결과로부터 회귀계수의 신뢰구간을 아래와 같이 구해 보았습니다. 우리는 오차항에 대해 정규분포를 가정했으므로 역시 모평균에 대한 추정과 동일한 원리로 회귀계수에 대한 신뢰구간을 추정해 볼 수 있을 것입니다.

> confint(output)

2.5 % 97.5 %

(Intercept) 1.4911538 2.0435537

X 0.1719069 0.3956894

이제, R에서 회귀식을 이용해 x가 3일 때의 Y값을 예측해 보도록 하겠습니다.

> predict(output,newdata=data.frame(X=3))

2.618748

◎ 온라인 제휴 패널 및 품질 관리

데이터스크림은 DataSpring Asia와의 제휴를 통해 전세계 35개국 2천2백만 패널을 제공하고 있어 신속하고 편리한 해외조사 서비스를 제공하고 있으며, 국내 역시 약 50만명의 패널을 안정적으로 확보하고 있습니다.

 DataSpring은 2단계 인증으로 중복가입을 제한하고 있으며, 가입 후에도 로그인 이력, 활동 IP 주소 점검, 이메일 유사성 점검 등을 통해 중복 가입자의 패널 사이트 이용을 제한하고 있습니다.

 패널 모집 후에는 데일리 퀵 서베이와 정기 이벤트로 패널의 활동성을 증대하여 실제 설문조사에서의 참여율 제고를 유도하고 있습니다. 또한 활동 수준에 따라 추가 포인트과 특별 포인트를 지급하여 패널 품질을 관리하고 있습니다.  

 신규 패널 대상 tutorial survey를 실시하여 설문 응답 시 주의 사항에 대한 교육을 실시하고 있으며, 조사 진행 시에는 새로 고침 금지, 중복참여 금지, 불성실 응답 기준을 안내하고있습니다. 그 외 정기적인 홍보 캠페인을 통해 지속적으로 성실응답을 독려하고 있으며 패널 활동 이력 및 응답 데이터 검수를 통해 삼진 아웃제를 운영하여 3회 이상 불성실 응답 시 패널 탈퇴 조치를 하고 있습니다.

◎ 웹 설문 제작을 통한 조사 품질 관리  

 일반적으로 인터넷 설문조사에서는 응답 시간이 10분이 경과한 후에는 응답자의 집중도가 하락하여 불성실응답이 증가하게 됩니다. 데이터스크림은 그 간의 경험을 살려 인터넷 설문조사 응답 행태를 고려해 웹 설문을 제작하고 있습니다.

◎ 오프라인 실사 역량 및 품질 관리

  데이터스크림은 회당 40명 이상의 면접원 동원이 가능한 실사 역량을 바탕으로 전국 지역에 대한 조사를 지원할 수 있습니다.

 풍부한 조사원 인력 자원을 기반으로 우수한 면접원을 선발하여 철저한 교육을 제공하고 자료수집 기간 중 엄격한 조사원 관리를 통해 조사 품질을 유지하고 있습니다.

◎ 자료 검증을 통한 조사 품질 관리

 데이터스크림은 실사팀, 분석팀과 연구팀의 긴밀한 협조 아래 반복적이고 심층적인 검증절차를 적용해 자료수집 및 입력 과정 상에서 발생가능한 비확률오차를 최소화하여 데이터의 품질을 유지하고 있습니다.

 실사 관리 연구원과 에디팅 요원이 raw data의 주관식 문항과 기타 오픈 문항, 인구통계 문항 등에서 불성실 응답을 점검하여 통계분석팀 및 연구원과 공유함으로써 일차적으로 데이터의 품질을 관리합니다.

  실사 관리 연구원과 에디팅 요원의 일차 검증 후에는 통계분석팀은 본격적인 통계분석에 앞서 빈도분석과 교차분석을 통해 오류를 점검합니다. 최종적으로는 담당 연구원은 통계분석 결과가 기존 결과와 격차가 심하거나 논리적인 모순이 있는 경우를 찾아 내는 한편, 지역별 성별·연령별·실사 진행 조사원별 등 중요한 기준별로 조사 결과를 비교해 극단적이고 비정상적인 결과가 집중되는 사례를 발견할 경우 집중적인 검토를 통해 데이터의 품질을 관리하게 됩니다.