작은 숫자는 쉽게 크게 흔들립니다
다섯 명에게 물어 네 명이 같은 답을 하면 비율로는 80%라는 큰 숫자가 나옵니다. 하지만 한 사람의 답이 달라지는 것만으로 이 숫자는 크게 달라집니다. 표본이 작을수록 한두 건의 변화가 결과를 좌우하므로, 뚜렷한 차이가 보이더라도 그것을 전체의 특성으로 읽는 데는 신중해야 합니다.
보고서를 쓰는 사람은 자료가 어떤 질문에 답할 수 있는지, 어떤 질문에는 답하지 못하는지를 먼저 가려야 합니다. 이 판단이 문장의 세기를 정합니다.
실무에서는 보고 일정에 쫓겨 작은 자료를 서둘러 요약하게 되는 경우가 많습니다. 그럴수록 요약 문장에서 가장 먼저 줄어드는 것이 조건과 범위이므로, 그 부분을 의식적으로 남기는 습관이 필요합니다.
비율 옆에 붙여야 할 세 가지
비율을 쓸 때는 실제 인원, 조사한 기간, 모집 방식을 함께 적습니다. "80%"보다 "다섯 명 중 네 명, 2주간 접수된 응답"이 규모를 훨씬 정확히 전달합니다.
자발적으로 답한 사람만 포함됐는지, 특정 채널이나 특정 시간대에서만 모았는지도 밝혀야 합니다. 답하지 않은 사람의 생각을 이미 조사한 것처럼 추정해서는 안 됩니다. 이 정보가 빠진 숫자는 읽는 사람이 해석할 근거를 잃게 합니다.
표본의 수를 표기하는 방식도 통일해 둡니다. 어떤 표에서는 건수를, 다른 표에서는 비율만 쓰면 비교가 어려워집니다. 보고서 전체에서 '건수(비율)' 순서처럼 하나의 형식을 정하면 읽는 사람이 헤매지 않습니다.
비교할 때는 두 집단의 조건을 맞추어 봅니다
두 집단을 비교한다면 조건이 비슷한지부터 살핍니다. 한쪽은 이용한 지 얼마 안 된 사람이고 다른 쪽은 오래 이용한 사람이라면 차이는 집단의 특성에서 비롯됐을 수 있습니다. 질문 문구가 바뀌었거나 설문이 놓인 위치가 달라졌다면 같은 비율을 시간순으로 이어 붙이기 어렵습니다.
이런 한계가 있는 자료에서는 확정적인 순위를 매기기보다, 관찰된 흐름과 아직 확인해야 할 질문을 나누어 적는 편이 정확합니다.
예외적으로 튀는 값이 하나 있을 때는 그 값을 지우지 말고 따로 표시하여 설명합니다. 평균에 크게 영향을 준 값인지 확인한 뒤, 포함했을 때와 제외했을 때의 해석이 달라지는지 함께 적어 두면 판단이 투명해집니다.
그래프와 표에서 생기는 착시
그래프는 한눈에 들어오는 만큼 착시도 잘 만듭니다. 두 건과 세 건의 차이를 지나치게 벌린 막대로 그리면 큰 변화처럼 보입니다. 축의 범위와 단위를 확인하고, 분모가 서로 다른 비율을 나란히 놓을 때는 각 집단의 실제 건수를 표시합니다.
복수 선택이 가능했는지, 누락된 응답을 어떻게 처리했는지도 표 아래에 짧게 적어 둡니다. 설명이 없으면 독자는 합계가 맞지 않는 이유를 오류로 받아들일 수 있습니다.
보고서를 받는 사람이 곧바로 결정을 내리려 한다면 이 자료가 결정의 근거가 되기에는 부족하다는 점을 분명히 말해 줄 필요가 있습니다. 대신 지금 할 수 있는 작은 시도와 그 결과를 확인할 시점을 제안하면 대화가 생산적으로 이어집니다.
결론 문장의 범위를 다시 적습니다
결론에는 자료가 닿는 범위를 다시 한 번 씁니다. "이번에 확인한 사례에서는"이라고 말할 수는 있어도 "모든 이용자는"이라고 단정할 근거는 부족한 경우가 많습니다. 이 한 단어의 차이가 의사결정을 지나치게 밀어붙이는 일을 막아 줍니다.
추가 조사를 계획할 때에는 보완이 필요한 집단과 기간을 구체적으로 적습니다. 작은 자료도 현장에서 어떤 질문이 나오는지 발견하는 데는 충분히 쓸모가 있습니다.
수집한 원자료는 개인이 식별되지 않는 형태로 정리해 보관합니다. 응답자의 이름이나 연락처가 필요하지 않다면 처음부터 받지 않는 것이 기록 관리에도 안전합니다.
다음 조사에서 비교할 수 있도록 남겨 둘 것
같은 방법으로 다시 조사할 수 있도록 질문지와 포함 기준, 모집 방법을 보관합니다. 다음 조사에서 같은 조건을 적용하면 변화가 대상의 차이 때문인지 방법의 차이 때문인지 나누어 볼 수 있습니다.
표본이 작다는 이유로 자료를 버리기보다 한계를 기록해 후속 검증에 쓰는 편이 낫습니다. 자료가 말하지 않은 부분까지 사실로 바꾸지 않는 절제가 다음 판단을 더 믿을 만하게 만듭니다.