카페 검색 결과의 만족 비율이나 클릭률만 제시하면 그 값이 몇 명 또는 몇 회에서 나온 것인지 알 수 없다. 2명 중 1명과 2천 명 중 천 명은 같은 50%지만 해석의 안정성과 적용 범위가 다르다. 표본 수는 숫자의 권위를 높이기 위한 장식이 아니라 결과가 어느 정도의 관측과 어떤 대상에서 만들어졌는지 판단하게 하는 기본 정보다.
무엇을 한 건으로 셌는지 정의하기
표본이 사람 수인지 세션 수인지 검색 횟수인지 먼저 밝힌다. 한 사람이 여러 번 검색한 경우를 각각 셌는지, 중복을 제거했는지에 따라 의미가 달라진다. 설문이라면 응답자 수뿐 아니라 초대된 대상과 응답률, 필수 문항을 끝낸 수를 구분한다. 봇 트래픽, 내부 운영자, 오류 세션을 제외했다면 기준과 제외된 규모를 기록한다. 전체 카페 이용자가 아니라 특정 기간에 검색 기능을 사용한 집단의 결과라면 그 범위를 제목과 설명에 반영한다.
세부 집단의 작은 수를 숨기지 않기
기기, 지역, 카테고리로 나눌수록 각 표본은 줄어든다. 막대 길이나 색만 크게 보여주지 말고 항목별 n을 비율 가까이에 둔다. 매우 작은 집단은 변동이 크고 개인을 짐작할 위험도 있으므로 공개를 합치거나 생략하는 최소 기준을 정한다. 작은 표본에서 큰 차이가 보여도 일반적 경향으로 단정하지 않고 추가 관찰이 필요하다고 쓴다. 여러 기간을 합쳤다면 합산 방식과 같은 사용자가 반복 포함될 가능성을 밝힌다. 표본 수가 다르다는 이유만으로 품질이 낮다고 단순 평가하지 않는다.
기간과 수집 방식이 같은 결과끼리 비교하기
변경 전후 표본이 다른 요일, 다른 노출 위치, 다른 질문 방식에서 모였다면 차이가 기능 개선 때문인지 알기 어렵다. 비교 표에는 기간, 수집 경로, 대상, 유효 표본을 함께 둔다. 표본이 급격히 줄면 실제 이용 감소뿐 아니라 로그 누락이나 필터 변경을 확인한다. 보고서에는 원자료로 돌아갈 수 있는 집계 정의와 작성일을 남긴다. 표본 수를 공개하는 목적은 작은 결과를 버리는 데 있지 않다. 관측 범위를 솔직히 보여 독자가 비율의 한계와 다음 조사 필요성을 스스로 판단하도록 돕는 것이다.