A/B 테스트나 설문 분석에서 비교를 여러 번 하면 우연히 "유의미한" 결과가 나올 확률이 커집니다. 검정 수에 맞춰 유의수준을 낮춰 주는 가장 기본적인 보정법을 계산합니다.
다중 검정 보페로니 유의수준 계산기 사용 방법
- 연구 전체에서 허용할 1종 오류 확률(보통 0.05)을 넣습니다.
- 함께 수행하는 검정(비교) 수를 넣습니다.
- 확인하려는 검정의 p값을 넣습니다.
- 보정된 유의수준보다 p값이 작으면 유의한 결과로 판단합니다.
계산 기준과 공식
보페로니 유의수준 = α ÷ m, 보정 p값 = min(1, p × m). 시닥 유의수준 = 1 − (1 − α)1/m로 검정이 독립일 때 조금 덜 보수적입니다. 보정하지 않으면 적어도 하나가 우연히 유의할 확률은 1 − (1 − α)m입니다.
계산 예시
α 0.05, 검정 6개면 검정별 기준은 0.00833이고, p = 0.012는 보정 후 유의하지 않습니다.
자주 묻는 질문
보페로니가 너무 엄격하다는데요?
검정 수가 많으면 검정력이 크게 떨어집니다. 홀름(Holm) 방법이나 FDR(Benjamini-Hochberg)을 고려하세요.
검정 수 m은 어떻게 세나요?
같은 결론(가족)에 쓰이는 모든 비교를 셉니다. 사후에 골라 보고한 것만 세면 안 됩니다.
A/B/C 세 그룹 비교면요?
쌍별 비교는 3개(A-B, A-C, B-C)이므로 m = 3입니다.