최대 가능도비 검정 1

최대가능도비 검정(LRT)은 주어진 데이터가 두 개의 경쟁 가설 중 어느 쪽을 더 지지하는지를 가능도비를 통해 판단하는 가설 검정 방법이다.

$X_1,…,X_n$이 서로 독립이고 같은 확률분포를 따르며, 확률밀도 함수가 모수 $\theta$로 표현될 수 있는 경우, 즉 확률밀도 함수가 $f(x;\theta), \theta \in \Omega$로 주어진 경우의 가설 검정 방법이다.

귀무가설과 대립가설은 모수공간을 이용하여 다음과 같이 나타낸다.

\[H_0:\theta \in \Omega_0 \text{ vs } H_1: \theta \in \Omega_1 \ (\Omega_0 \cup \Omega_1 = \Omega, \ \Omega_0 \cap \Omega_1 = \emptyset)\]

이제 관측 결과인 $x=(x_1,…,x_n)^T$가 생성되었을 가능성이 가장 큰 경우의 가능도를 비교하는 것이 최대 가능도 검정법이다. 즉, 각 가설하에서의 최대 가능도를 비교하여 기각 여부를 판단한다. 이는 결국 전체 모수 공간에 대한 최대 가능도와 귀무 가설 하에서의 최대 가능도를 비교하는 것과 같기에 다음과 같은 기각역을 사용한다.

\[2(l(\hat{\theta}^{\Omega};x) - l(\hat{\theta}^{\Omega_0};x)) \geq c\]

$c$는 유의 수준 $\alpha$를 만족하도록 정해준다.

\[\begin{align*} \alpha &= \max_{\theta \in \Omega_0}Pr_{\theta}((X_1,...,X_n)^T \in C_{\alpha}) \text{ where } C_{\alpha} = \{x: 2(l(\hat{\theta}^{\Omega};x) - l(\hat{\theta}^{\Omega_0};x)) \geq c \}\\ &= \max_{\theta \in \Omega_0}Pr(2(l(\hat{\theta}^{\Omega}) - l(\hat{\theta}^{\Omega_0})) \geq c) \end{align*}\]

일반적으로 다음의 순서를 따른다.

1. 전체 모수 공간과 귀무가설 하의 모수공간 각각에서 최대 가능도 추정량을 구하여 기각역의 형태를 구한다.
2. 귀무가설 하에서 기각역에 대한 통계량이 표본 분포에 관한 통계량으로 변환할 수 있도록, 기각역을 적절히 변환한다. 만약, 변환할 수 없다면 극한 분포로의 근사를 유도한다.
3. 유의 수준 이하로 통제하기 위해 표본 분포 통계량을 사용한 기각역의 확률이 최대가 되는 귀무가설 하의 모수를 찾아, 최종적으로 임계값 $c$를 구한다.

두 정규 분포의 검정

평균 비교를 위한 검정

분산이 동일한 두 정규 분포 $\mathcal{N}(\mu_1,\sigma^2), \mathcal{N}(\mu_2,\sigma^2)$에서 각각 독립인 랜덤 표본 ${X_{ij}:i=1,2,j=1,…,n_i}$( 단, $n_1,n_2 \geq 2)$를 이용하여 귀무가설 $H_0: \mu_1 \leq \mu_2$에 대한 유의 수준 $\alpha$의 최대 가능도비 검정을 구해보자.

로그 가능도는 다음과 같다.

\[l(\mu_1,\mu_2,\sigma^2) = -(n_1+n_2)\log\sqrt{2\pi \sigma^2} - \frac{\sum_{i=1}^2\sum_{j=1}^{n_i}(x_{ij}-\mu_i)^2}{2\sigma^2}\]

전체 모수공간 $\Omega = {(\mu_1,\mu_2, \sigma^2): -\infty < \mu_1,\mu_2<\infty, \sigma^2 <\infty} \subset \mathbb{R}^3$에 대한 최대 가능도 추정량은 아래와 같다. 이는 제약조건이 없는 볼록 최적화 문제임으로, $\nabla l=0$이 되는 지점이다.

\[\hat{\theta}^{\Omega} = (\bar{x}_1, \bar{x}_2, \frac{\sum_{i=1}^2\sum_{j=1}^{n_i}(x_{ij}-\bar{x}_i)^2}{n_1+n_2})^T\]

이제 귀무 가설에 대응하는 모수공간 \(\Omega_0=\{(\mu_1,\mu_2,\sigma^2): \mu_1 \leq \mu_2, 0<\sigma^2 <\infty\}\)내에서의 추정량을 구하기 위해 먼저, $(\mu_1,\mu_2)$에 대해서만 고려한 다음과 같은 최적화 문제를 고려하자.

\[\min_{(\mu_1,\mu_2)}\sum_{i=1}^2\sum_{j=1}^{n_i}(x_{ij}-\mu_i)^2 \text{ subject to } \mu_1 - \mu_2 \leq 0\]

위 원문제는 볼록함수임으로, KKT조건을 통해 최적해를 유도할 수 있다. 먼저 라그랑주 승수 $\lambda >0$에 대해 다음과 같은 라그랑주 함수를 정의하면, 쌍대문제는 라그랑주 함수를 최소화하는 문제이다.

\[L(\mu_1, \mu_2, \lambda) = \sum_{i=1}^2\sum_{j=1}^{n_i}(x_{ij}-\mu_i)^2 - \lambda(\mu_1 - \mu_2)\]

• Stationarity 조건: $\nabla L = 0$을 만족; 즉 $n_1\bar{x}_1 - n_1\hat{\mu_1} - \lambda = n_2\bar{x}_2 - n_2\hat{\mu_2} + \lambda = 0$
• Primal feasibility 조건: $\hat{\mu}_1 \leq \hat{\mu}_2$
• Dual feasibility 조건: $\lambda >0$
• Complementary slackness 조건: $\lambda(\hat{\mu}_1 - \hat{\mu}_2) = 0$

Complementary slackness조건을 만족하는 경우는 $\lambda = 0$ 또는 $\hat{\mu}_1 = \hat{\mu}_2$이다.

첫번째 경우에 대응한다면, stationarity 조건에 의해 $\hat{\mu}_1= \bar{x}_1, \hat{\mu}_2= \bar{x}_2$이고 primal feasibility 조건에 의해 $\bar{x}_1 \leq \bar{x}_2$를 만족해야 한다.

두번째 경우에 대응한다면, stationarity 조건에 의해 $\hat{\mu}_1=\hat{\mu}_2=\bar{x} = (n_1\bar{x}_1+n_2\bar{x}_2)/(n_1+n_2)$이다. 이 경우에는 dual feasibility 조건인 $\lambda>0$를 만족하는지 확인해야 한다. 다시 stationarity 조건에 $\bar{x}$를 대입하여, $(n_1^{-1}+n_2^{-1})^{-1}(\bar{x}_1 - \bar{x}_2)>0$을 만족해야함으로 $\bar{x}_1 > \bar{x}_2$이다.

$\bar{x}_1 \leq \bar{x}_2$를 만족하는 경우, 기각역의 형태는 $0 \geq c$의 형태로 주어짐으로 $\alpha<1$인 경우에 $c>0$이어야 하고, $\bar{x}_1 > \bar{x}_2$인 경우에 대해 아래의 검정통계량을 이용한 기각역의 형태를 취해야 한다. (만약, $c \leq0$이면, $\bar{x}_1\ \leq \bar{x}_2$에서 항상 참이다.)

\[\frac{\bar{x}_1 - \bar{x}_2}{\sqrt{n^{-1}_1 + n_2^{-1}}s_p} \geq c , \ ( c >0) \text{ where } s_p = \frac{\sum_{i=1}^2\sum_{j=1}^{n_i}(x_{ij}-\bar{x}_i)^2}{n_1+n_2-2}\]

이제 검정통계량의 분포를 살펴보자.

\[T = \frac{\bar{X}_1 - \bar{X}_2 }{\sqrt{n^{-1}_1 + n_2^{-1}}S_p}\]

아래와 같이 $Z,V$를 정의하여 이를 통해 $T$를 나타내보자

\[Z=\frac{\bar{X}_1-\bar{X}_2 - (\mu_1 - \mu_2)}{\sqrt{n_1^{-1}+n_2^{-1}}\sigma} \sim \mathcal{N}(0,1), V^2 = \frac{(n_1+n_2-2)S_p^2}{\sigma^2} \sim \chi(n_1+n_2-2)\]

표본 분포이론으로부터 $Z$와 $V$는 독립임을 알 수 있다. 따라서, $Z/\sqrt{V/(n_1+n_2-2)} \sim t(n_1+n_2-2)$이다.

\[T = \frac{Z+\delta}{\sqrt{V/(n_1+n_2-2)}} \text{ where } \delta = \frac{\mu_1 - \mu_2}{\sqrt{n_1^{-1} + n_2^{-1}}\sigma}\]

즉, 검정 통계량 $T$는 $\delta$를 비중심 모수로하는 비중심 t분포를 따른다.다시 말해서, $T \sim t(n_1+n_2-2, \delta)$이다. 이제 기각 확률은 $\delta$에 의존한다. 기각확률은 아래와 같이 쓸 수 있다.

\[Pr(\frac{Z+\delta}{\sqrt{V/(n_1+n_2-2)}} \geq c) = Pr(Z \geq c\sqrt{V/(n_1+n_2-2)} - \delta)\]

이는 $\delta$에 대한 증가함수임으로, $\mu_1-\mu_2$에 대한 증가함수이다. 즉, 귀무가설 $\mu_1-\mu_2 \leq0$에서 기각확률이 최대화되는 지점은 $\mu_1=\mu_2$이다.

그러므로, 유의수준 $\alpha$의 최대 가능도비 검정의 기각역은 다음과 같다.

\[\frac{\bar{X}_1 - \bar{X}_2}{\sqrt{n_1^{-1} + n_2^{-1}}S_p} \geq t_{\alpha}(n_1+n_2-2)\]

이제 이에 대한 검정력도 마찬가지로 $\delta$에 대한 함수로 주어짐을 알 수 있다. 검정력 또한 $\delta$에 대한 증가함수임을 보여보자. $\nu, \phi$를 각각 $\chi(n_1+n_2-2), \mathcal{N}(0,1)$의 확률밀도함수라고 하자. 조건부 기댓값의 성질에 의해 다음이 성립한다.

\[\begin{align*} Pow(\delta) &= Pr(\frac{Z+\delta}{\sqrt{V/(n_1+n_2-2)}} \geq t_{\alpha}(n_1+n_2-2)) \\ &= \mathbb{E}[Pr(Z \geq w(v) - \delta|V=v] \text{ where }w(v) = t_{\alpha}(n_1+n_2-2)\sqrt{v/(n_1+n_2-2)} \end{align*}\]

이제 이를 $\delta$에 대해 편미분을 하면 다음과 같다.

\[\begin{align*} \frac{\partial}{\partial \delta}Pow(\delta) &= \mathbb{E}[\frac{\partial}{\partial \delta}Pr(Z \geq w(v) - \delta|V=v] \\ &=\mathbb{E}[-\phi(w(v)-\delta) \cdot \frac{\partial}{\partial \delta}(w(v)-\delta)|V=v] \\ &= \mathbb{E}[\phi(w(v)-\delta)|V=v] \geq 0 \end{align*}\]

$\phi$는 음이 아니고, $\nu$의 support는 $[0,\infty]$임으로 마지막 부등식이 성립한다. 즉, 최대 가능도비 검정에 대한 검정력 또한 $\delta$에 대한 증가함수이다.

분산 비교를 위한 검정

두 정규 모집단 \(\mathcal{N}(\mu_1, \sigma^2_1), \mathcal{N}(\mu_1, \sigma^2_2)\)으로부터 각각 $n_1,n_2$개의 표본 \(\{X_{ij} :i=1,2, n=1,...,n_i\}\)( 단, $n_1,n_2 \geq 2)$를 이용하여, 귀무가설 \(H:\sigma_1^2 \leq \sigma_2^2\)에 대한 유의수준 $\alpha$의 최대 가능도비 검정을 구해보자.

전체 로그 가능도는 아래와 같다.

\[l(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2) = -\sum_{i=1}^2n_i\log\sqrt{2\pi \sigma_i^2} - \frac{\sum_{i=1}^2\sum_{j=1}^{n_i}(x_{ij}-\mu_i)^2}{2\sigma^2}\]

따라서, 전체 모수공간에서의 최대 가능도 추정량은 아래와 같다.

\[\hat{\theta}^{\Omega} = (\bar{x}_1, \bar{x}_2, \hat{\sigma}_1^2, \hat{\sigma}_2^2)\]

귀무가설하의 모수공간 $\Omega_0$에서의 최대 가능도 추정량은 평균에 대한 검정에서와 같이 $\hat{\sigma}_1^2 \leq \hat{\sigma}_2^2, \hat{\sigma}_1^2 > \hat{\sigma}_2^2$의 두가지 경우로 나눠 전자의 경우는 $\hat{\theta}^{\Omega}$와 같고, 후자의 경우는 경계면일 경우, 즉 $\sigma^2= \sigma_1^2 = \sigma_2^2$인 경우가 최대임으로 이에 대한 최대 가능도 추정량은 다음과 같다.

\[\hat{\sigma}^2 = \frac{\sum_{i=1}^2\sum_{j=1}^{n_i}(x_{ij}-\bar{x}_i)^2}{n_1+n_2} = \frac{n_1\hat{\sigma}_1^2 + n_2\hat{\sigma}_2^2}{n_1+n_2}\]

따라서 $2(l(\hat{\theta}^{\Omega}) - l(\hat{\theta}^{\Omega_0}))$는 아래와 같다.

\[\begin{align*} 2(l(\hat{\theta}^{\Omega}) - l(\hat{\theta}^{\Omega_0})) &= [-n_1\log\frac{\hat{\sigma}_1^2}{\hat{\sigma}^2}-n_2\log\frac{\hat{\sigma}_2^2}{\hat{\sigma}^2}]I(\hat{\sigma}_1^2 > \hat{\sigma}_2^2) \\ &=[-n_1\log \frac{\hat{\sigma}_1^2}{\hat{\sigma}_2^2} + (n_1+n_2)\log \{\frac{n_1}{n_1+n_2}\cdot \frac{\hat{\sigma}_1^2}{\hat{\sigma}_2^2}+\frac{n_2}{n_1+n_2}\}]I( \frac{\hat{\sigma}_1^2}{\hat{\sigma}_2^2}>1) \end{align*}\]

이제 $t = \hat{\sigma}_1^2/ \hat{\sigma}_2^2$로 정의하고, 위를 $t$에 대한 함수 $\Lambda(t)$로 보면 기각역의 형태는 $\Lambda(t) > c$로 주어진다. 한편, $\Lambda(t)$는 $t>1$에서 단조증가하는 함수임으로, 기각역의 형태를 $t > c’ (c’>1)$로 다시 쓸 수 있다.

한편, 검정 통계량에 $t$에 대해 다음이 성립한다.

\[\frac{n_1(n_2-1)\sigma_2^2}{n_2(n_1-1)\sigma_1^2} \cdot t = \frac{n_1\hat{\sigma}_1^2/(n_1-1)\sigma_1^2}{n_2\hat{\sigma}_2^2/(n_2-1)\sigma_2^2} \sim F(n_1-1, n_2-1)\]

따라서, $F(n_1-1,n_2-1)$의 cdf를 $\nu$라고 정의하면, 유의수준 $\alpha$를 만족하기 위해서는 기각확률이 최대화되는 지점을 고려해야하고, 이는 다음의 관계식을 만족한다.

\[\begin{align*} \alpha &= \max_{(\sigma_1^2,\sigma_2^2) \in \Omega_0}Pr_{\sigma_1^2, \sigma_2^2} (t>c') \\&=1-\min_{\sigma_1^2 \leq \sigma_2^2}\nu(\frac{n_1(n_2-1)\sigma_2^2}{n_2(n_1-1)\sigma_1^2} \cdot c') = 1-\nu(\frac{n_1(n_2-1)}{n_2(n_1-1)} \cdot c') \end{align*}\]

그러므로, 유의수준 $\alpha$의 최대 가능도비 검정의 기각역은 다음과 같이 주어진다.

\[\begin{align*} t &> \nu^{-1}(1-\alpha) \cdot \frac{n_2(n_1-1)}{n_1(n_2-1)} \\ \frac{n_1\hat{\sigma}_1^2/(n_1-1)}{n_2\hat{\sigma}_2^2/(n_2-1)} &> \nu^{-1}(1-\alpha) \\ \frac{s_1^2}{s_2^2} &> F_{\alpha}(n_1-1,n_2-1) \text{ where } s_i = \sum_{j=1}^{n_i}\frac{1}{n_i-1}(x_{ij} - \bar{x}_i)^2 \end{align*}\]

단일 모집단 지수분포에 대한 검정

$X \sim Exp(\mu, \sigma)$으로부터의 독립인 $n$개의 랜덤샘플에 대한 최대가능도비 검정을 구해보자.

\[f(x;\mu,\sigma) = \frac{1}{\sigma}\exp(-\frac{x-\mu}{\sigma})I(x>\mu) \text{ where } -\infty<\mu<\infty, \sigma>0\]

먼저 전체 모수공간에 대한 가능도는 아래와 같이 주어진다.

\[L(\mu,\sigma) = \sigma^{-n}\exp(\frac{-n(\bar{x}-\mu)}{\sigma})I(x_{(1)} > \mu) \text{ where } x_{(1)} \leq...\leq x_{(n)}\]

$\mu$에 대해 $\mu < x_{(1)}$에서 감소함수임으로, $\hat{\mu}^{\Omega} = x_{(1)}$이다. 따라서, $\hat{\sigma}^{\Omega} = \bar{x}-x_{(1)}$이다.

평균에 대한 양쪽 검정

귀무가설 $H_0: \mu = \mu_0$에 대한 양쪽 검정을 고려해보자. 귀무가설 하의 모수공간에서의 최대 가능도 추정량은 $x_{(1)} > \mu_0$일 경우, $(\mu_0, \bar{x} - \mu_0)$이다. 한편, $x_{(1)} \leq \mu_0$인 경우에는 가능도가 0이 됨으로 $2(l(\hat{\theta}^{\Omega}) - l(\hat{\theta}^{\Omega_0})) =-\infty$임으로 항상 기각이기에 이 경우는 기각역을 구하는데 있어서 고려할 필요가 없다.

따라서 기각역을 구하는데 있어서는 다음을 고려한다.

\[\begin{align*} 2(l(\hat{\theta}^{\Omega}) - l(\hat{\theta}^{\Omega_0})) &= 2n\log(\frac{\bar{x}-\mu_{0}}{\bar{x}-x_{(1)}})I(x_{(1)}>\mu_0) \\ & = 2n\log(1+\frac{x_{(1)}-\mu_{0}}{\bar{x}-x_{(1)}})I(x_{(1)}>\mu_0) \end{align*}\]

따라서, 기각역의 형태는 다음과 같이 주어진다.

\[\frac{x_{(1)}-\mu_{0}}{\bar{x}-x_{(1)}} > c \text{ if } x_{(1)} >\mu_0 \text{ else reject } H_0\]

한편 지수분포의 순서통계량에 대한 표본 분포에 대해 다음이 성립한다.

\[\begin{align*} Y_1=\frac{n(X_{(1)}-\mu)}{\sigma} &\sim Exp(1) \\ Y_r=(n-r+1)\frac{X_{(r)}-X_{(r-1)}}{\sigma}&\sim Exp(1), r=2,...,n \end{align*}\]

또한 $Y_1,…,Y_n$은 서로 독립이다. 즉,

\[\begin{align*} U&=2Y_1 \sim \chi^2(2) \\ V&=2n(\bar{X}-X_{(1)} )/\sigma = 2(Y_2+...+Y_n) \sim \chi^2(2n-2) \end{align*}\]

이고, $U,V$는 독립이다. 따라서 검정 통계량 분포에 대해 다음이 성립한다.

\[(n-1)\frac{X_{(1)}-\mu_{0}}{\bar{X}-X_{(1)}} = \frac{U/2\sigma}{V/(2n-2)\sigma} \sim F(2,2n-2)\]

따라서 기각역의 형태는 다음과 같다.

\[(n-1)\frac{x_{(1)}-\mu_0}{\bar{x} - x_{(1)}} \geq F_{\alpha}(2,2n-2) \text{ or } x_{(1)} \leq \mu_0\]

분산에 대한 양쪽 검정

이번에는 귀무가설 $H_0: \sigma = \sigma_0$에 대한 양쪽 검정을 고려해보자. 이 경우, 귀무 모수공간하에서의 최대 가능도 추정량은 $(x_{(1)}, \sigma_0)$이다.

\[2(l(\hat{\theta}^{\Omega}) - l(\hat{\theta}^{\Omega_0})) = 2n[\log\frac{\sigma_0}{n(\bar{x} - x_{(1)})} + \frac{\bar{x}-x_{(1)}}{\sigma_0}]\]

$t = n(\bar{x}-x_{(1)})/\sigma_0$이라고 하면, 위에서 보인 바와 같이 귀무가설 하에서 $2t \sim \chi^2(2n-2)$을 따른다. 또한 위를 $t$에 대한 함수 $\Lambda(t)(t>0)$로 나타내면, $t=n$에서 최솟값을 갖는 볼록함수이다. 따라서 기각역은 $0 < c_1<n<c_2$에 대해 $t = n(\bar{x}-x_{(1)})/\sigma_0 \in(0,c_1]\cup[c_2,\infty)$의 형태로 주어지며, $c_1,c_2$는 다음을 만족해야 한다.

1. $-\log c_1 + c_1/n = -\log c_2 + c_2/n$
2. $\chi(2n-2)$분포의 cdf를 $G$라고 하면, $G(2c_1) + 1-G(2c_2) = \alpha$

단일 균등 분포에서의 모수의 추정

$X_1,…,X_n$이 독립으로 \(U[0,\theta]\)을 따른다고 할 때, 한쪽 검정과 양쪽검정에서의 유의 수준 $\alpha$의 최대 가능도비 검정을 수행해보자.

\[f(x;\theta) = \theta^{-1}I(0 \leq x \leq \theta)\]

전체 로그 가능도는 다음과 같다.

\[L(\theta) = \theta^{-n}I(0 \leq x_{(1)})I(x_{(n)} \leq \theta) \text { where } x_{(1)}\leq...\leq x_{(n)}\]

$\theta \geq x_{(n)}$인 구간에서 감소함수이고, 나머지 구간에서 0임으로 $\hat{\theta}^{\Omega} = x_{(n)}$이다.

양쪽 검정

귀무가설 $H_0:\theta=\theta_0$에 대한 검정이다. $x_{(n)} >\theta_0$ 일 경우 기각하고, $x_{(n)} \leq \theta_0$인 경우에 다음과 같이 기각역의 형태가 주어진다.

\[2(l(\hat{\theta}^{\Omega}) - l(\hat{\theta}^{\Omega_0})) = 2n\log\frac{\theta_0}{x_{(n)}}I(x_{(n)} \leq \theta_0) > c\]

즉, $x_{(n)} \leq \theta_0$인 경우에 $x_{(n)}/\theta_0 <c’(c’<1)$로 기각역을 다시 쓸 수 있다.

한편 $X_{(n)}/\theta_0$의 분포는 다음과 같이 주어진다.

\[\begin{align*} Pr(X_{(n)}/\theta_0 \leq x) &= \prod_{i=1}^nPr(X_i \leq \theta_0x) \\&=(\frac{\theta_0x}{\theta})^nI(0\leq x \leq \frac{\theta}{\theta_0}) \end{align*}\]

따라서 귀무가설 하에서 검정통계량의 분포를 이용해 $c’$에 대해 $c’ = \alpha^{-n}$이 성립한다. 그러므로, 기각역은 다음과 같다.

\[\theta_0 <x_{(n)} \text{ or } x_{(n)}< \alpha^{-n}\theta_0\]

한쪽 검정

귀무가설 $H_0: \theta \geq \theta_0$에 대해 검정해보자. $\theta < x_{(n)}$이면 가능도가 0이 되고, 귀무 가설 하의 가능한 모수들은 $\theta \geq \theta_0$을 만족해야하므로 $\theta \geq \max(\theta_0, x_{(n)})$에서의 최대가능도 추정량에 대한 기각역을 고려하면 충분하다. 즉, $\hat{\theta}^{\Omega_0} = \max(\theta_0,x_{(n)})$에서 $x_{(n)} >\theta_0 , x_{(n)} \leq \theta_0$ 의 경우를 나눠 고려해보자.

\[\begin{align*} 2(l(\hat{\theta}^{\Omega}) - l(\hat{\theta}^{\Omega_0})) &= 2n[\log\frac{\theta_0}{x_{(n)}}I(x_{(n)} \leq \theta_0) + \log\frac{x_{(n)}}{x_{(n)}}I(x_{(n)} > \theta_0) ] \\ &=2n \log\frac{\theta_0}{x_{(n)}}I(x_{(n)} \leq \theta_0) \end{align*}\]

따라서 기각역의 형태는 $x_{(n)}/\theta_0 <c(c<1)$로 주어진다. 이제 $\theta$에 대한 기각확률은 아래와 같다.

\[\begin{align*} \max_{\theta \geq \theta_0}Pr(X_{(n)}/\theta_0 \leq c) =\max_{\theta \geq \theta_0}(\frac{\theta_0c}{\theta})^n=c^n \leq \alpha \end{align*}\]

따라서, 기각역은 $x_{(n)}< \alpha^{-n}\theta_0$로 주어진다.

Note. $x_{(n)} >\theta_0$인 경우에 양쪽검정의 모수공간은 ${\theta_0}$이었기에, $L(\hat{\theta}^{\Omega_0})=0$이 되었기에 어떠한 $c$를 잡아도 항상 가설을 기각한다. 반면에 한쪽검정의 경우는 $\hat{\theta}^{\Omega} \in \Omega_0$이 되는 경우로 가설을 기각하지 않는다.

단순 귀무가설에 대한 검정통계량의 극한 분포

서로 독립인 $X_1,…,X_n \sim F_{\theta}, \ \theta \in \Omega \subset \mathbb{R}^k$ ($\Omega$는 열린 부분집합)을 따르는 랜덤표본으로부터 $H_0: \theta = \theta_0$에 대한 최대 가능도비 검정을 수행한다고하자. 적절한 조건하에서, 귀무 가설이 사실일 때 $\hat{\theta}^{\Omega} \approx \theta_0$ 임으로 다음이 성립한다.

\[\begin{align*} l(\theta_0) &\approx l(\hat{\theta}^{\Omega}) + \frac{1}{2}(\theta_0 - \hat{\theta}^{\Omega})^T l''(\hat{\theta}^{\Omega})(\theta_0 -\hat{\theta}^{\Omega}) \\ &\approx l(\hat{\theta}^{\Omega}) + \frac{1}{2}(\theta_0 - \hat{\theta}^{\Omega})^T l''(\theta_0)(\theta_0 - \hat{\theta}^{\Omega}) \end{align*}\]

또한 대수의 법칙을 이용하여 적절한 조건하에서 정보량 행렬에 대해 다음의 관계식이 성립한다.

\[-\frac{1}{n}l''(\theta_0) \approx- \mathbb{E}[\frac{\partial^2}{\partial \theta_0^2}\log f(X_1;\theta_0)] = I(\theta_0)\]

따라서, \(2(l(\hat{\theta}^{\Omega}) - l(\theta_0)) \approx \sqrt{n}(\hat{\theta}^{\Omega} - \theta_0)^TI(\theta_0 ) \sqrt{n}(\hat{\theta}^{\Omega} - \theta_0)\) 이다.

또한, 귀무 가설 하에서 $\sqrt{n}(\hat{\theta}^{\Omega}-\theta_0) \xrightarrow{d} \mathcal{N}(0,I(\theta_0)^{-1})$의 근사가 성립함으로,

\[2(l(\hat{\theta}^{\Omega}) - l(\theta_0)) \xrightarrow{d} \chi^2(k)\]

즉, 표본 크기가 클 때 유의 수준 $\alpha$의 최대 가능도비의 기각역은 다음과 같이 근사될 수 잇다.

\[2(l(\hat{\theta}^{\Omega}) - l(\theta_0)) \geq \chi^2_{\alpha}(k)\]