비율보다 먼저 적어야 하는 숫자
조사 결과를 정리하다 보면 "응답자의 80%가 같은 답을 했다"처럼 깔끔한 문장을 쓰고 싶어집니다. 그런데 이 문장은 응답이 다섯 명인지 오백 명인지에 따라 전혀 다른 무게를 갖습니다. 응답이 적을수록 한두 명의 선택만 달라져도 비율이 크게 움직이기 때문입니다. 그래서 보고서에는 비율 옆에 실제 응답 수를 함께 적고, 조사 기간과 대상도 한 줄로 밝혀 두는 것이 기본입니다.
분모를 밝히는 일은 독자를 위한 배려이기도 하지만, 작성자 스스로 결론의 크기를 가늠하는 장치이기도 합니다. 숫자 옆에 "5명 중 4명"이라고 적는 순간 이 자료가 어느 정도까지 말할 수 있는지가 눈에 들어옵니다.
누가 응답했는지 확인하기
같은 응답 수라도 어떤 경로로 모았는지에 따라 의미가 달라집니다. 자발적으로 참여한 사람만 모였다면 관심이 높은 쪽의 의견이 과대하게 담겼을 수 있습니다. 특정 채널이나 특정 시간대에만 요청했다면 그 채널을 쓰지 않는 사람의 생각은 빠져 있습니다.
응답하지 않은 사람의 의견을 이미 조사한 것처럼 추정하는 표현도 조심해야 합니다. "대부분이 만족한다"는 문장은 응답하지 않은 사람까지 포함한 듯한 인상을 줍니다. "응답한 분 가운데에서는"처럼 범위를 좁혀 쓰면 같은 정보를 더 정확하게 전할 수 있습니다.
표본 규모가 작다는 사실은 부끄러운 약점이 아니라 보고서에 정직하게 남겨야 할 정보입니다. 작성자는 응답을 모은 방식과 제외한 응답이 있다면 그 이유를 한두 문장으로 정리해 두는 것이 좋습니다. 나중에 다른 담당자가 같은 자료를 이어받더라도 어떤 기준으로 걸러졌는지 알 수 있어야 하기 때문입니다.
비교할 때 조건이 같은지 살피기
두 집단을 나란히 놓고 차이를 설명할 때는 집단의 성격부터 확인합니다. 한쪽이 최근 이용을 시작한 사람이고 다른 쪽이 오래 이용한 사람이라면, 차이는 방법이 아니라 이용 기간에서 나왔을 수 있습니다. 질문 문구가 바뀌었거나 설문이 놓인 위치가 달라졌다면 같은 항목이라도 시간 순서로 이어 붙이기 어렵습니다.
이런 경우에는 확정적인 순위를 매기기보다 관찰된 패턴과 아직 확인하지 못한 질문을 나누어 적는 편이 정확합니다. "A가 B보다 높다"는 문장 대신 "이번 응답에서는 A 쪽이 더 많았고, 이용 기간의 차이는 따로 확인이 필요하다"고 쓰는 식입니다.
또한 소수의 응답에서 눈에 띄는 의견이 하나 나왔다면, 그 의견을 대표 의견처럼 앞세우기보다 "이런 의견도 있었다"는 정도로 소개하는 것이 안전합니다. 인상적인 한마디는 기억에 오래 남지만, 그것이 얼마나 흔한 생각인지는 별도의 확인이 필요합니다.
그래프와 표에서 생기는 착시
작은 숫자는 그래프에서 더 크게 보이기 쉽습니다. 두 건과 세 건의 차이를 막대로 그리면 축의 시작점에 따라 큰 격차처럼 보일 수 있습니다. 축의 범위와 단위를 확인하고, 가능하면 비율 대신 건수를 막대 옆에 직접 표시합니다.
분모가 다른 비율을 나란히 놓을 때에는 각 집단의 실제 건수를 함께 보여 줍니다. 복수 선택이 가능한 문항이었다면 항목별 비율을 모두 더해도 전체와 맞지 않을 수 있다는 점을, 응답이 비어 있는 항목은 계산에서 제외했다는 점을 표 아래에 적어 두면 오해를 줄일 수 있습니다.
결론 문장의 범위를 다시 적기
결론에서는 자료가 다룬 범위를 한 번 더 확인합니다. "이번에 확인한 사례에서는"이라고 말할 수 있어도 "모든 이용자는"이라고 단정할 근거는 부족할 수 있습니다. 문장의 주어를 조사한 대상으로 한정하면 과장 없이도 충분히 쓸모 있는 보고가 됩니다.
추가 조사를 제안한다면 어떤 집단과 기간을 보완할지 구체적으로 적습니다. 적은 표본은 확정적인 답을 주지는 못해도 현장에서 어떤 질문이 중요한지 발견하는 데에는 도움이 됩니다. 다만 그 자료가 말하지 않은 부분까지 사실처럼 바꾸지 않아야 다음 의사결정에도 쓸 수 있습니다.
다음 조사에서 비교할 수 있게 남기기
마지막으로, 수집 과정을 반복할 수 있도록 질문지와 포함 기준, 응답을 받은 채널과 기간을 기록해 둡니다. 다음 조사에서 같은 조건을 적용하면 변화가 실제 차이에서 왔는지 방법의 차이에서 왔는지 나누어 볼 수 있습니다.
표본이 작다는 이유만으로 자료를 버리기보다, 한계를 기록해 두고 후속 확인에 활용하는 편이 실무에서는 더 유용합니다. 보고서를 확정하기 전에는 응답 수, 선정 방식, 비교 조건, 결론의 범위 네 가지를 다시 읽어 보고, 해석이 갈리는 부분은 담당자와 함께 실무에서 확인하시기 바랍니다.