가설 검정과 유의수준을 알아보자

가설 검정, 유의 수준, p-value, AB Test 순으로 내용을 정리해보려 합니다. 필요한 부분만 보셔도 좋고 관련 내용을 처음 보시는 분은 천천히 읽어보시길 추천드립니다.

---

 

먼저 검정이 뭘까요?

"귀무가설의 기각 여부를 결정하는 규칙"이라고 정의되어 있는데 일단은 간단히 "가설이 맞는지 확인하는 규칙"이라고 생각합시다.

통계 조사를 할 때 대부분의 경우 전수조사를 행하는 것은 불가능하거나 비실용적입니다. 따라서 적절한 통계적 가설을 설정한 다음에, 설정된 통계적 가설의 기각 여부를 결정하기 위해서 합리적이고 구체적 기준인 검정을 설정하고 표본자료를 이용하여 이 통계적 가설의 기각 여부를 결정하여 가설을 입증하게 됩니다. 하지만 이렇게 내려진 결정은 표본자료를 이용하였기 때문에 항상 불확실성을 내포하고 있습니다. 몇 퍼센트로 이 가설이 맞다.. 뭐 이런 식으로 생각하게 되는 거죠

 

간단하게 예시를 들어보겠습니다.

어느 회사에서 기존에 생산하던 전구를 새로운 방법으로 만들었다고 가정합시다. 이때 새로 만든 전구가 기존 전구보다 오래가는지 확인하고 싶습니다. 가장 확실한 방법은 모든 전구의 수명이 다할 때까지 써보고 평균을 낸다음 비교하면 되죠. 그런데 전수조사를 하자니 생산되는 모든 전구를 수명이 다할 때까지 켜보면 판매할 전구가 없고 시간도 오래 걸리겠죠. 그래서 100개, 1000개 등 표본을 뽑아 비교하게 됩니다.

---

 

그러면 표본을 뽑아 결과를 내기 전에 가설을 세워야 하는데 대부분 두 종류의 통계적 가설이 설정됩니다. 하나는 실제로 검정 대상이 되는 가설로 귀무가설(Null Hypothesis)이라 불리고 통상 $H_0$로 표기하며, 또 다른 하나는 통상 $H_1$로 표기되는 대립가설(Alternative Hypothesis)입니다. 일반적으로 검정자는 자기가 참이라고 주장하는 바에 반대 상태를 귀무가설로 설정하고 이 가설이 기각되기를 희망하며, 반면에 자기가 참이라 주장하는 바를 대립 가설로 설정합니다.

이러한 두 종류의 가설 설정은 어떤 한 가설이 참이면, 다른 가설은 거짓이라는 것을 암시하고 있습니다. 그리고 검정 절차를 통해 귀무가설이 기각(혹은 채택)되어야 한다면, 이는 대립 가설이 채택(혹은 기각)되어야 한다는 것을 의미합니다.

 

앞의 예시에 이어서 얘기해보겠습니다.

회사 측에서는 새로 만든 전구가 더 오래가길 원합니다. 원래 전구가 평균 1000시간의 수명을 가진다고 했을 때 회사 입장에서 원하는 바를 대립 가설로 세우면 $H_1$ : 새 수명 > 1000, 귀무가설은 $H_0$ : 새 수명 <=1000 혹은 = 1000으로 할 수 있겠네요

앞에서 말한 검정의 정의에 따르면 검정을 다음과 같이 세울 수 있습니다. (임의로 세운 것임)

"새 전구에 대한 수명 표본 평균 $\bar{X}$ < 990이면 귀무가설 $H_0$을 기각하라."

 

---

여기서 검정통계량, $H_0$의 기각역, 채택역이란 용어가 나옵니다.

검정통계량은 표본결과에 따라 귀무가설 $H_0$의 기각 여부를 지시해 주는 통계량으로, 위에서는 $\bar{X}$가 해당됩니다.

$H_0$의 기각역은 귀무가설을 기각시키는 검정통계량의 범위로 $\bar{X}$ < 990가 해당됩니다.

$H_0$의 채택역은 귀무가설을 채택시키는 검정통계량의 범위로 $\bar{X}$ >= 990이 해당됩니다.

기각역 이미지

 

자 여기까지 오면 그런 생각이 듭니다. '그러면 검정은 어떻게 세우죠?'

가설을 틀리지 않게 기각/채택할 수 있는 범위를 정해야 합니다. 가설을 틀리는 경우는 두 가지인데요.

제1종오류: 귀무가설이 참일 때 귀무가설을 기각하는 것. 확률로는 P($H_0$ 기각 | $H_0$ 참)으로 나타낼 수 있습니다.

제2종오류: 귀무가설이 거짓일 때 귀무가설을 채택하는 것. 확률로는 P($H_0$ 채택 | $H_1$ 참)으로 나타낼 수 있습니다.

&amp;lt;출처: http://epiville.ccnmtl.columbia.edu/popup/power_and_sample_size_introduction.html&amp;gt;

 

한번 제1종오류를 범할 확률을 구해보겠습니다. 계산이 싫으신 분은 넘기셔도 됩니다.

 

표본 수 = 100, 표본표준편차 = 40이라 할 때

제1종오류를 범할 확률 = P($H_0$ 기각 | $H_0$ 참)

                              = P($\bar{X}$ < 990 | $\bar{X}$ ~ N(1000, ${40^2 \over 10^2}$ )

                              = P(Z < ${990 - 1000 \over 4}$) = P(Z < -2.5) = 0.0062

따라서 0.62%로 제1종오류가 발생할 수 있습니다.

 

같은 과정으로 제2종오류를 구할 수 있습니다.

표본수 n이 고정된 상태에서 하나의 오류 확률이 작아지면 다른 오류의 확률은 커집니다.(기각역이 커지면 채택역이 작아지기 때문) 두 오류를 동시에 작게 할 수 있는 유일한 방법은 표본 크기 n을 증가시키는 것입니다. 당연히 표본이 커지기 때문에 오류 확률이 작아지며 계산식을 따라가다 보면 아실 수 있습니다.

 

---

이제 마지막으로 유의수준에 대해 알아봅시다.

유의수준 : 제1종오류를 범하는 최대 확률을 말하며 α로 표기합니다. 통상적으로 α=0.01, 0.05, 0.1 등의 값으로 사용됩니다. 제1종오류를 범할 확률을 작게 하면 제2종오류를 범할 확률이 커지므로 각 오류의 손실을 감안하여 정하게 됩니다. 흔히 α=0.05이며, 제1종오류에 의한 손실이 크면 α=0.01을 사용하고 제2종오류에 의한 손실이 크면 α=0.1을 이용합니다. 예를 들어 한 환자가 암에 걸렸다는 귀무가설에 대하여 제1종오류의 경우 큰 문제가 되겠지만 제2종오류는 재검을 통해 추후에 알 수 있어 손실이 그다지 크지 않기 때문에 α=0.01를 사용하는 것이 좋습니다.

 

그럼 지금까지 배운 것을 토대로 문제를 보겠습니다.

$H_0$ : 전구 수명 = 1000시간,   $H_1$ : 전구 수명 < 1000시간일 때, 표본 수 = 100, 표본표준편차 = 80인 경우 검정을 다음과 같이 할 수 있습니다." $\bar{X}$ < c 이면 귀무가설 $H_0$를 기각하라. " 여기서 α=0.05일 때의 c를 구하고 싶습니다. 

 

α = P($H_0$ 기각 | $H_0$ 참)

   = P($\bar{X}$ < c | $\bar{X}$ ~ N(1000, ${80^2 \over 10^2}$)

   = P(Z < ${c - 1000 \over 8}$)

α = 0.05를 쓰면

${c - 1000 \over 8}$ = -$z_0.05$ = -1.645

따라서 c = 1000 - 1.645 * 8 = 986.84

 

귀무가설의 기각역은 $\bar{X}$ < 986.84이며 $\bar{X}$가 986.84일 경우 제1종오류가 일어날 확률은 5%라고 할 수 있습니다.

 

혹은 표본평균이 주어지고 기각여부를 결정할 수도 있습니다.

$H_0$ : 전구 수명 = 1000시간,   $H_1$ : 전구 수명 < 1000시간일 때, 표본평균 = 990, 표본 수 = 100, 표본표준편차 = 80인 경우 α=0.05로 검정해봅시다. 

 

α = P($H_0$ 기각 | $H_0$ 참)

   = P($\bar{X}$ < c | $\bar{X}$ ~ N(1000, ${80^2 \over 10^2}$)

   = P(Z < ${c - 1000 \over 8}$) = 0.05

따라서 ${c - 1000 \over 8}$ = -$z_0.05$ = -1.645

c = 1000 - 1.645 * 8 = 986.84 < 표본평균 = 990 이므로 귀무가설은 기각되지 않습니다.

---

지금까지 가설검정 ~ 유의수준에 대한 내용을 다뤄봤습니다. 다음 글에서는 p-value에 대해 알아보겠습니다.

2021.12.03 - [잡담] - p-value란?

p-value란?