18. 표본추출의 개요

14. 서베이몽키 웹 링크①

지난 시간에 이어 서베이몽키 웹 링크에 대해 알아 보겠습니다. 이번에는 웹 링크의 고급 옵션에 대해 자세히 살펴보고자 합니다.

① 서베이몽키의 웹 링크는 SSL(Secure Sockets Layer) 암호화 기능을 지원하고 있습니다. 은행이나 전자상거래 사이트 같은 많은 웹사이트에서 SSL을 사용하여 사용자의 기밀 정보를 받습니다. 웹 링크 컬렉터 옵션에서 SSL 암호화 기능을 끌 수 있습니다. 서베이몽키 웹사이트 컬렉터 또는 이메일 초대장 컬렉터에서는 SSL 암호화 기능을 끌 수 없습니다. 정보의 중요성을 고려해 개별적으로ㅗ SSL 암호화 기능 활성화 여부를 판단하기 보다는 무조건 SSL 암호화 기능을 활성화시켜 주는 것이 효율적인 의사결정방법일 것 같습니다.

② 조사 마감 날짜 및 시간을 지정할 수 있습니다. 실무에서는 목표 표본을 달성한 후에 조사를 마감하므로 자주 사용하는 기능은 아닙니다. 설문조사 형태의 이벤트와 같이 기간을 지정해야 할 경우 유용한 기능입니다.

③ 목표 표본크기가 정해지면 웹 링크 컬렉터의 응답한도를 지정할 수 있습니다. 이전 버전에서는 설문 완성 여부의 구분 없이 최대 응답 수를 설정하여 사실상 실사관리에 큰 도움이 되지 못했으나 이런 문제점을 해결해서 완성 응답을 기준으로 최대 응답 수를 지정할 수 있게 되었습니다. 표본크기의 관리는 비용과 직결되기 때문에 응답한도 기능은 거의 대부분의 조사에서 활용하고 있습니다.

④ IP제한 기능에서는 특정 IP 주소의 컴퓨터에서만 설문조사에 참여하게 하거나 참여하지 못하게 지정할 수 있습니다. IP제한 기능은 일반 소비자를 대상으로 하는 조사에서는 많이 활용하지 않습니다. 이전 조사에서 불성실응답자로 분류한 응답자의 IP주소를 입력해 조사 참여를 제한하는 용도로 활용하는 정도입니다. 그 외 지점별 고객만족도 조사를 진행할 경우 지점 직원들의 설문 참여를 방지할 목적으로 활용할 수 있습니다. 반면, 직원 만족도 조사 진행 시 사업장의 컴퓨터 IP주소를 입력해 해당 사업장의 직원만 설문에 참여할 수 있도록 조치할 수도 있습니다.

⑤ 비밀번호를 지정하여 비밀번호를 입력한 경우에만 설문에 참여할 수 있게 설정할 수 있습니다. 대학 사이트에서 학생들만을 대상으로 조사를 손쉽게 진행하고 싶다면 미리 공유한 비밀번호를 입력하는 경우에만 조사에 참여하게 함으로써 조사대상인 학생들만 선별해 낼 수 있습니다. 다만 비밀번호 자체를 공유할 수 있다는 것은 처음부터 비밀번호를 공유할 대상에 접근가능하다는 의미이므로 비밀번호 설정의 유용성은 제한적입니다.

⑥ 조사 종료 후에는 감사메시지를 표시할 수도 있습니다.

⑦ 설문조사의 대상자가 아닌 경우에는 맞춤형 메시지를 표시하거나 맞춤형 자격박탈 URL로 보낼 수 있습니다. 소비자 패널에 연결하여 서베이몽키를 활용할 경우 패널 공급사의 자격박탈 URL로 보내게 됩니다.

⑧ 설문조사 종료 시에는 그대로 설문창이 닫히도록 설정할 수도 있지만 특정 페이지로 보낼 수도 있습니다, 표준 종료 페이지는 서베이몽키 가입 페이지로 설정되어 있지만 맞춤형 종료 페이지를 설정가능합니다. 외부 소비자 패널을 서베이몽키에 연결할 경우 응답자의 설문참여 여부를 확인하고 포인트를 적립하기 위해 패널사의 종료 페이지도 이동하게 설정하게 됩니다.

지금까지 서베이몽키의 대표적인 자료수집수단인 웹 링크에 대해 알아 보았습니다. 웹 링크는 다양한 용도로 유용하게 활용가능하므로 알아두면 매우 편리할 것 같습니다.

설문조사를 업으로 살다보면 ‘주어진 기간과 비용 내에서 실행가능한 조사인가’와 ‘설문지를 어떻게 구성할 것인가’라는 두 가지 문제를 가장 많이 고민하게 됩니다. 이중 조사의 실행가능성은 경험을 통해 판단가능하고, 그래도 확실하지 않은 경우에는 실사팀과 협의하여 프로젝트 진행여부를 결정합니다. 예산을 증액할 수 있는 상황이라면 기존 실사방법 외에 다른 방법을 생각하기도 하지만 흔히 발생하는 일은 아닙니다. 일상적으로 고민하는 문제 중 가장 중요한 사항은 역시 설문지 작성입니다.

설문지를 만족스럽게 구성하면 분석 및 보고서 단계에서 인사이트 발굴을 위한 데이터 해석에 집중할 시간을 좀 더 많이 확보할 수 있기 때문에 설문지 작성에 많은 공을 들이는 편입니다. 대범하게 본다면 설문지를 작성 시 고민하는 사항은 ‘① 대상자 선정은 어떻게 할 것인가 ② 무엇을 질문할 것인가 ③ 어떤 형태로 질문할 것인가 ④ 어떤 순서로 나열할 것인가’의 네 가지 입니다.

이중 조사 대상자 선정과 관련해서 언급해 볼까 합니다. 마음이야 응답자들이 질문에 솔직하게 답변해준다면 더 바랄 것이 없겠지만 현실은 그렇지 않습니다. 특히 인터넷 설문조사나 자기기입식 조사라면 응답자들이 불성실한 응답을 할 가능성이 더욱 높아집니다. 인터넷 설문조사의 경우 동일한 값을 처음부터 끝까지 입력하거나 무관한 단어를 입력하는 것과 같이 조금은 악의적인 불성실응답은 전체 응답자의 10% 미만입니다. 그러나 특정 제품 구매경험과 같이 설문 응답 자격요건에 대한 질문은 별 생각 없이 긍정적으로 응답할 가능성이 높습니다.

실제로 사후 검정을 통해 응답 자격요건을 묻는 질문의 진실성을 점검해 본 결과 인터넷 조사의 경우 30% 내외의 응답자가 특정 제품 구매경험이 없음에도 불구하고 제품 구매경험이 있는 것으로 응답했습니다. 이와 같은 현상이 일어나는 이유는 인터넷 설문조사의 응답자들이 관여도가 높지 않고, 응답자들의 설문 참여 목적이 포인트 적립인 경우가 대부분으로 포인트 사용을 위해 가능한 많은 설문조사에 참여하기를 희망하고 조금이라도 리워드가 높은 조사에 참여하고 싶어 하기 때문인 것 같습니다.

설문조사를 통해 의미 있는 정보를 획득하기 위해 저와 같은 리서처들은 설문에 적합한 자격요건을 갖춘 응답자를 선별하려고 노력하고 있습니다. 인터넷 패널의 경우는 정기적으로 불성실 응답자를 찾아내서 일정기간 설문조사에 참여를 배제하기도 하고 오프라인의 일대일면접조사나 전화면접조사 등에서는 면접원별로 설문지를 관리하고 전화확인을 통해 검증하기도 합니다. 실사과정에서의 품질관리 외에 설문지에 검증문항을 넣어 부적합한 응답자를 선별합니다.

일반적으로 특정 제품의 구매경험을 묻는 질문은 특정 제품의 구매 여부, 구배 빈도, 최근 구매경험 여부, 구매 브랜드, 구매의사결정 참여 여부 등으로 이루어져 있는데 이 중 특정 제품의 구매 여부를 묻는 질문에서 거짓으로 구매 경험이 있다고 응답한 사람들은 본 설문에서 제품의 소비와는 무관하게 무작위로 질문을 응답하여 전체 데이터 품질을 현저히 저하시키게 됩니다. 그러므로 실제 특정제품의 구매경험이 있는 사람을 선별하는 것이 매우 중요합니다.

오늘 이야기 해보고 싶은 사례는 반려묘의 집사 분들에게 고양이 사료에 대한 물어보는 조사인데 이 조사의 관건은 ‘반려묘를 확인할 수 없는 상황에서 응답자가 실제 집사 분인지 어떻게 선별할 것인가’였습니다.

인터넷 설문응답자는 실제 고양이 집사가 아님에도 긍정적인 응답을 할 유인을 가지고 있기 때문에 아래와 같은 질문만으로 조사 대상자를 선별하게 되면 조사결과의 신뢰성이 저하될 수 밖에 없습니다. 아래 질문과 같이 직접 질문하기 보다는 반려동물 여부를 묻고 함께 하는 반려동물의 종류를 묻는 것과 같은 간접적인 방식도 응답자의 자의적인 반응을 어느 정도 방지하는 효과가 있는 것 같습니다.

실제 사례에서는 위와 같은 질문 외에 아래와 같은 검증용 문항을 넣어 응답자를 선별했습니다. 아래 검증용 문항은 실제 데이터 분석에는 활용되지 않고 순수하게 응답자를 선별할 목적으로만 만들어진 문항입니다. 반려묘의 종류를 묻는 질문이기는 하지만 보기는 모두 반려견들입니다. 반려묘와 함께 하시는 분들이라면 기타를 선택하고 본인 반려묘의 종류를 적거나 질문에 의문을 제기할 것입니다. 실제 조사에서의 반응도 유사했습니다.

검증용 문항을 통해 조사대상이 아닌 응답자를 걸러낸 다음 실제 분석을 위한 질문은 아래와 같이 구성했습니다. 

물론 검증용 문항만으로 설문에 적합하지 않은 응답자를 100% 걸러낼 수 없으므로, 본 설문에서의 응답 일관성 및 주관식 응답의 내용 등을 종합하여 다시 한 번 데이터를 선별하여 최종 분석용 데이터를 확정하였습니다.