대학 교육 만족도 조사나 공공기관의 고객 및 직원 만족도 조사를 수행하다 보면 이 설문지는 이런 점이 문제가 좀 있는 것 같다는 생각이 들 때가 있습니다. 그런 사례를 원문을 조금 변경해 열거해 보았습니다.

사례에서와 같이 설문조사의 외양을 갖추고 있으나 응답자의 의견을 공정하게 질문하는 것이 아니라 응답자에게 어떤 편향성을 유도하는 내용이라면 설문조사 결과는 의사결정의 품질을 개선하는데 기여할 수 없습니다.

일반적으로 대학이나 공공기관의 고객 만족도 조사는 연간 1회 내지 2회 정도 실시하게 되는데 대체로 해당 기관의 모든 시설 및 서비스 내용을 포괄하다 보니 설문지의 분량이 조사 대상자의 인내심을 넘어서는 경우도 가끔 발생하게 됩니다. 지나치게 긴 설문지는 straight liner나 speeder와 같은 불성실응답을 양산합니다.

그러므로 어느 정도 조사결과를 축적했다면 요인분석을 통해 조작적 정의에 부합하지 않는 문항은 선별한 후 전반적 만족도에 미치는 영향과 관리 상의 중요성을 고려하여 삭제 여부를 고려해야 할 것입니다.

문항에 대한 통계적 분석 결과에도 불구하고 관리상의 중요성 등을 고려할 때 설문의 수정이 어렵다면 로테이션, 설문지 책형 구분 등 설문지의 구성을 최대한 개선하여 응답자의 불성실 응답이 설문 조사 결과에 미치는 영향을 평균적으로 제어하는 것이 좋습니다.

설문조사를 업으로 살다보면 ‘주어진 기간과 비용 내에서 실행가능한 조사인가’와 ‘설문지를 어떻게 구성할 것인가’라는 두 가지 문제를 가장 많이 고민하게 됩니다. 이중 조사의 실행가능성은 경험을 통해 판단가능하고, 그래도 확실하지 않은 경우에는 실사팀과 협의하여 프로젝트 진행여부를 결정합니다. 예산을 증액할 수 있는 상황이라면 기존 실사방법 외에 다른 방법을 생각하기도 하지만 흔히 발생하는 일은 아닙니다. 일상적으로 고민하는 문제 중 가장 중요한 사항은 역시 설문지 작성입니다.

설문지를 만족스럽게 구성하면 분석 및 보고서 단계에서 인사이트 발굴을 위한 데이터 해석에 집중할 시간을 좀 더 많이 확보할 수 있기 때문에 설문지 작성에 많은 공을 들이는 편입니다. 대범하게 본다면 설문지를 작성 시 고민하는 사항은 ‘① 대상자 선정은 어떻게 할 것인가 ② 무엇을 질문할 것인가 ③ 어떤 형태로 질문할 것인가 ④ 어떤 순서로 나열할 것인가’의 네 가지 입니다.

이중 조사 대상자 선정과 관련해서 언급해 볼까 합니다. 마음이야 응답자들이 질문에 솔직하게 답변해준다면 더 바랄 것이 없겠지만 현실은 그렇지 않습니다. 특히 인터넷 설문조사나 자기기입식 조사라면 응답자들이 불성실한 응답을 할 가능성이 더욱 높아집니다. 인터넷 설문조사의 경우 동일한 값을 처음부터 끝까지 입력하거나 무관한 단어를 입력하는 것과 같이 조금은 악의적인 불성실응답은 전체 응답자의 10% 미만입니다. 그러나 특정 제품 구매경험과 같이 설문 응답 자격요건에 대한 질문은 별 생각 없이 긍정적으로 응답할 가능성이 높습니다.

실제로 사후 검정을 통해 응답 자격요건을 묻는 질문의 진실성을 점검해 본 결과 인터넷 조사의 경우 30% 내외의 응답자가 특정 제품 구매경험이 없음에도 불구하고 제품 구매경험이 있는 것으로 응답했습니다. 이와 같은 현상이 일어나는 이유는 인터넷 설문조사의 응답자들이 관여도가 높지 않고, 응답자들의 설문 참여 목적이 포인트 적립인 경우가 대부분으로 포인트 사용을 위해 가능한 많은 설문조사에 참여하기를 희망하고 조금이라도 리워드가 높은 조사에 참여하고 싶어 하기 때문인 것 같습니다.

설문조사를 통해 의미 있는 정보를 획득하기 위해 저와 같은 리서처들은 설문에 적합한 자격요건을 갖춘 응답자를 선별하려고 노력하고 있습니다. 인터넷 패널의 경우는 정기적으로 불성실 응답자를 찾아내서 일정기간 설문조사에 참여를 배제하기도 하고 오프라인의 일대일면접조사나 전화면접조사 등에서는 면접원별로 설문지를 관리하고 전화확인을 통해 검증하기도 합니다. 실사과정에서의 품질관리 외에 설문지에 검증문항을 넣어 부적합한 응답자를 선별합니다.

일반적으로 특정 제품의 구매경험을 묻는 질문은 특정 제품의 구매 여부, 구배 빈도, 최근 구매경험 여부, 구매 브랜드, 구매의사결정 참여 여부 등으로 이루어져 있는데 이 중 특정 제품의 구매 여부를 묻는 질문에서 거짓으로 구매 경험이 있다고 응답한 사람들은 본 설문에서 제품의 소비와는 무관하게 무작위로 질문을 응답하여 전체 데이터 품질을 현저히 저하시키게 됩니다. 그러므로 실제 특정제품의 구매경험이 있는 사람을 선별하는 것이 매우 중요합니다.

오늘 이야기 해보고 싶은 사례는 반려묘의 집사 분들에게 고양이 사료에 대한 물어보는 조사인데 이 조사의 관건은 ‘반려묘를 확인할 수 없는 상황에서 응답자가 실제 집사 분인지 어떻게 선별할 것인가’였습니다.

인터넷 설문응답자는 실제 고양이 집사가 아님에도 긍정적인 응답을 할 유인을 가지고 있기 때문에 아래와 같은 질문만으로 조사 대상자를 선별하게 되면 조사결과의 신뢰성이 저하될 수 밖에 없습니다. 아래 질문과 같이 직접 질문하기 보다는 반려동물 여부를 묻고 함께 하는 반려동물의 종류를 묻는 것과 같은 간접적인 방식도 응답자의 자의적인 반응을 어느 정도 방지하는 효과가 있는 것 같습니다.

실제 사례에서는 위와 같은 질문 외에 아래와 같은 검증용 문항을 넣어 응답자를 선별했습니다. 아래 검증용 문항은 실제 데이터 분석에는 활용되지 않고 순수하게 응답자를 선별할 목적으로만 만들어진 문항입니다. 반려묘의 종류를 묻는 질문이기는 하지만 보기는 모두 반려견들입니다. 반려묘와 함께 하시는 분들이라면 기타를 선택하고 본인 반려묘의 종류를 적거나 질문에 의문을 제기할 것입니다. 실제 조사에서의 반응도 유사했습니다.

검증용 문항을 통해 조사대상이 아닌 응답자를 걸러낸 다음 실제 분석을 위한 질문은 아래와 같이 구성했습니다. 

물론 검증용 문항만으로 설문에 적합하지 않은 응답자를 100% 걸러낼 수 없으므로, 본 설문에서의 응답 일관성 및 주관식 응답의 내용 등을 종합하여 다시 한 번 데이터를 선별하여 최종 분석용 데이터를 확정하였습니다.