8. p-value (유의확률)
가설검정은 간단히 말해 귀무가설의 분포에서 연구자의 표본통계량이 나올 확률이 얼마인지 검증하는 절차이다.
귀무가설의 분포에서 표본통계량이 나올 가능성이 유의수준(α ; 기각역)보다 작으면 연구자의 가설을 채택할 수 있다.
지난편에서는 t 값으로 검증절차를 설명했는데 실제로는 p-value 라는 통일된 지표를 많이 활용한다.
따라서 이번 편에서는 p-value의 개념과 주의점을 다루고자한다.
1. p-value (유의확률) 정의
우리가 가설 검정을 하려면 귀무가설의 분포를 알아야한다. 문제는 t 분포,Z 분포, 카이제곱분포, F 분포... 등 어떤 분포를 따르는지에 따라서 표본 통계량에 대한 확률을 계산하는 방식이 달라진다. 즉 유의 수준 5% 에 대한 각각의 Z값과 t 값, 카이제곱 값, F 값들이 각각 다르다. (심지어 Z분포를 제외하면 유의 수준 5%에 대한 값은 표본 수에 따라서도 달라진다)
연구자가 매번 분포표를 봐가며 가설 검정을 한다면 여간 불편한 일이 아닐 것이다.
때문에 현실에서는 p-value 라는 통일화된 지표를 사용하여 가설의 기각 여부를 판단한다.
일단 위키피디아의 p-value의 정의를 보자.
p-값(p-value)은 귀무 가설 (null hypothesis)이 맞다는 전제 하에, 표본에서 실제로 관측된 통계치와 '같거나 더 극단적인' 통계치가 관측될 확률이다.
좀 더 쉽게 말하자면 귀무가설의 분포에서 연구자의 표본 통계량이 ( 또는 그보다 더 극단적인 수치가) 나올 확률이다. 그 확률이 낮으면 귀무가설의 분포에서는 표본통계량이 나오기 힘들다는 것, 즉 귀무가설을 기각하고 연구가설을 채택할 수 있음을 뜻하는 것이다.
2. 가설 검정과 p-value
반사신경이 좋아지는 약이 개발이되서 쥐를 대상으로 실험을 했다. 일반적으로 쥐는 자극에대해 평균 1.2초만에 반응을 하는데 실험용 쥐 100마리에게 약을 투여한 후 반사신경 테스트를 하자 평균 1.05초, 표준편차 0.5 초의 결과가 나왔다. 이 신약은 유의미한 효과가 있는 것일까?
(1) 먼저 가설을 수립을 하자.
- H0 : μ = 1.2 초
- H1 : μ ≠ 1.2 초
(2) 평균에 대한 검정이니 (중심극한 정리에 따라) 정규분포에 대한 Z 검정을 진행하자.
* Z 검정 공식 : (모평균 - 표본평균) / 표준편차
- 모평균 : 1.2초
- 표본평균 : 1.05초
- 표준편차 추정치 : 0.05 ( 모표준편차를 추정할 수 없으므로 표본 표준편차 / √표본수 (s/√n) 으로 추정)
계산을 해보면 (1.2-1.05)/0.05로 z값은 3이 나온다. 해석하자면 평균에서 표준편차가 3배만큼 떨어진 곳에 표본 통계량이 위치한다는 것이다.
귀무가설이 주장하는 분포대로라고 했을 때 실험 결과가 1.05초 또는 1.05초 미만으로 나올 확률은 얼마나 될까?
이전편에서 다뤘듯이 정규분포에서는 평균의 ±3σ 사이에 전체 데이터의 99.7%가 존재한다.
따라서 1.05초 이하로 실험결과가 나올 확률은 (100% - 99.7%)/2 , 즉 0.15% 밖에 되지 않는다.
이것을 p-value 라고 한다.
그러면 p-value가 얼마나 낮아야 귀무가설을 기각할 수 있을 정도가될까?
일반적으로 p-value가 5% 보다 낮으면 귀무가설을 기각 할 수 있다. 눈치 챘겠지만 이 5%를 우리는 유의수준 (α) 라고 부른다.
따라서 p-value만 있으면 우리는 그 수치를 유의수준 ( 일반적으로 5%) 과 비교하여 가설의 기각여부를 쉽게 판단할 수 있다.
Takeaways
p-value는 귀무가설이 맞다는 전제하에 연구자의 표본통계량 또는 그보다 극단적인 통계량이 나올 확률이다.
p-value만 있으면 우리는 그를 유의수준과 비교해서 귀무가설의 기각여부를 쉽게 판단할 수 있다.
참고자료
1. Khan Academy