| 통계학 Statistics | |||
| {{{#!wiki style="margin:0 -10px -5px; min-height:calc(1.5em + 5px); word-break: keep-all" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin:-5px -1px -11px" | <colbgcolor=#4d4d4d><colcolor=#fff> 수리통계학 | 기반 | 실해석학 (측도론) · 선형대수학 · 이산수학 |
| 확률론 | 사건 · 가능성 · 확률 변수 · 확률 분포 (표본 분포 · 정규 분포 · 이항 분포 · 푸아송 분포 · 카이제곱분포 · t분포 · Z분포 · F-분포 · 결합확률분포) · 확률밀도함수 · 확률질량함수 · 조건부확률 · 조건부기댓값 · 조건부분산 · 전체 확률의 법칙 · 베이즈 정리 · 도박사의 오류 · 도박꾼의 파산 · 몬티 홀 문제 · 뷔퐁의 바늘 · 마르코프 부등식 · 체비쇼프 부등식 · 큰 수의 법칙 (무한 원숭이 정리) · 중심극한정리 · 벤포드의 법칙 | ||
| 통계량 | 평균 (산술 평균 · 기하 평균 · 조화 평균 · 멱평균 · 대수 평균) · 기댓값 · 편차 (절대 편차 · 표준 편차) · 분산 (공분산) · 결정계수 · 변동계수 · 상관계수 · 대푯값 · 자유도 | ||
| 추론통계학 | 가설 · 변인 · 추정량 · 점추정 · 신뢰 구간 · 상관관계와 인과관계 · 실험통계학 · p-해킹 · 통계의 함정 · 그레인저 인과관계 · 신뢰도와 타당도 | ||
| 통계적 방법 | 회귀 분석 · 최소제곱법 · 분산 분석 · 주성분 분석 (요인 분석) · 시계열 분석 · 패널 분석 · 2SLS · 생존 분석 · GARCH · 비모수통계학 · 준모수통계학 · 기계학습 (군집 분석 · 분류 분석) · 위상 데이터분석 · 외삽법 · 메타 분석 · 모델링 (구조방정식) | ||
| 기술통계학 · 자료 시각화 | 도표 (그림그래프 · 막대그래프 · 선 그래프 · 원 그래프 · 상자 수염 그림 · 줄기와 잎 그림 · 산포도 · 산점도 · 히스토그램 · 도수분포표) · 그래프 왜곡 · 이상점 | }}}}}}}}} | |
1. 개요
카이 제곱 분포(chi-squared distribution, χ2 분포)는 k개의 서로 독립적인 표준 정규 확률 변수를 각각 제곱한 다음 합해서 얻어지는 확률변수의 분포이다. 구식 표현으로 카이자승분포라고도 한다. 즉 k차원 확률벡터 y ~ N(0, I)에 대해[1][2][math( χ^2 = y^\top y)]
가 따르는 분포가 카이 제곱 분포이다. χ는 그리스 문자 카이(chi)이다.카이 제곱 분포를 사용하는 때는 상관관계나 인과관계를 판별하고자 하는 원인의 독립변수가 “완벽하게 서로 다른 질적 자료”일 때 활용한다. 선거 여론조사에서 남성/여성, 연령대별(18-29세, 30대, 40대, 50대, 60대, 70대 이상)별 지지율 등을 알아볼 때 쓴다. 독립변수가 양적 자료면 F-분포를 쓴다.
검정통계량이 카이 제곱 분포를 따른다면 카이 제곱 분포를 사용해서 가설검정을 하면 된다. 귀무가설 하에서의 검정통계량이 카이 제곱 분포를 따를 때 검정통계치가 카이 제곱 분포 하에서 일어나기 어려운 일이면 귀무가설을 기각하고, 충분히 일어날 수 있는 일이면 귀무가설을 기각하지 않는다. 이 때 일어날 법한 일인지, 희귀한 경우인지를 판단하는 기준은 유의수준과 p-값이다.
입문 수준의 통계학이나 학부 사회조사방법론에서는 카이-제곱 분포를 σ2을 구할 때 사용하여 모분산 검정, 적합도 검정, 독립성/동질성 검정 등에 사용한다. 귀무 가설 H0는 σ2=1같은 것이고, 대립 가설 H1은 σ2≠1같은 것이다. 또는 H0는 μ1=μ2이고, Ha은 μ1≠μ2와 같은 것으로 H0는 "μ1과 μ2의 약효가 비슷하다", Ha은 "μ1과 μ2의 약효에 차이가 있다"와 같은 것이다.
"남성과 여성, 성별로 보수 성향과 진보 성향의 비율에 유의한 차이가 있는가" 등의 검증을 할 때 쓸 수 있다. p-값이 0.05 [3] 보다 작으면 유의한 차이가 있다고 생각할 수 있다. 요즘은 0.005 이하라는 기준을 쓰는 곳도 많다.
z-검정은 σ2을 알 때 μ를 구하는 것이고, t-검정은 σ2을 모를 때 μ를 구하는 것이다. 카이-제곱 검정은 σ2을 구하는 것이고, F-검정은 σ12 / σ22 을 구할 때 사용한다.
수식 없이 설명하는 카이 제곱 분포
엑셀로 카이제곱 검정 (교차분석)
2. 카이 제곱 확률 변수
[math(Z_1,\,Z_2,\,\cdots ,\,Z_v)]가 서로 독립인 [math(v)]개의 확률 변수이면서 표준 정규 분포 [math(\mathcal{N}(0,1))]을 따른다면[math(U=\displaystyle\sum_{i=1}^v Z_i^2)]
을 자유도가 [math(v)]인 [math(\chi^2)](카이 제곱) 확률 변수라고 한다.
예를 들어 각 [math(X_i)]가 정규분포 [math(\mathcal{N}(\mu, \sigma^2))]을 따르는 [math((X_1,\,X_2,\,\cdots ,\,X_n))]의 확률표본을 표준화하면
[math(Z_i=\dfrac{X_i-\mu}\sigma)]
가 되고 모든 [math(Z_i)]의 제곱의 합인 다음 확률 변수는 자유도가 [math(v)]인 [math(\chi^2)]분포를 따른다.
[math(\displaystyle\sum_{i=1}^v\left(\dfrac{X_i-\mu}{\sigma}\right)^{\!2}\!=\dfrac{\displaystyle\sum_{i=1}^v(X_i-\mu)^2}{\sigma^2})]
[math(\chi^2)]확률 변수는 연속 확률 변수인 표준 정규 변수의 함수이므로 똑같이 연속 확률 분포를 따른다. 또한, 제곱의 합으로 정의되기 때문에 항상 0 이상의 값만을 갖는다. 또한, 다음이 성립한다.
[math(\operatorname{E}(U)=v,\quad \operatorname{Var}(U)=2v)]
곧, 카이 제곱 분포는 평균이 자유도와 같고, 분산은 자유도의 2배이다.
- [증명]
- [math(\begin{aligned}U&={Z_1}^2+{Z_2}^2+\cdots+{Z_v}^2\\\rightarrow E(U)&=E({Z_1}^2)+E({Z_2}^2)+\cdots+E({Z_v}^2)\end{aligned})]
[math(\begin{aligned}{\rm Var}(Z_i)&=E({Z_i}^2)-[E(Z_i) ]^2\\\rightarrow E({Z_i}^2)&={\rm Var}(Z_i)+[E(Z_i) ]^2\end{aligned})]
[math(Z_i)]는 표준 정규 분포를 따르므로 [math(Var(Z_i)=1,\,E(Z_i)=0)]이므로[math(\begin{aligned}E({Z_i}^2)&=1+0=1\\\therefore E(U)&=\underbrace{1+1+\cdots+1}_{v\;{\rm times}}=v\end{aligned})]
[math({\rm Var}(U)={\rm Var}({Z_1}^2)+{\rm Var}({Z_2}^2)+\cdots+{\rm Var}({Z_v}^2)=v\cdot{\rm Var}({Z_i}^2))]
또한 [math({\rm Var}({Z_i}^2)=E({Z_i}^4)-[E({Z_i}^2) ]^2)]이고 [math(E({Z_i}^2)=1,\,E({Z_i}^4)=3)]임이 알려져 있으므로[4][math({\rm Var}({Z_i}^2)=3-1=2)]
[math(\therefore{\rm Var}(U)=2v)]
3. 공식
- [math(\bar X)]와 [math(s^2)]이 독립이고 [math(X_u\sim \mathcal{N}(\mu,\,\sigma^2))]일 때, [math(\dfrac{(n-1)s^2}{\sigma^2}\sim\chi^2_{n-1})]
즉, 표본분산에 상수 [math((n-1)/\sigma^2)]을 곱한 확률 변수는 자유도가 [math(n-1)]인 카이 제곱 분포를 따른다. 이를 이용하여 표본분산 [math(s^2)]을 가지고 모분산 [math(\sigma^2)]에 대한 가설검정이나 신뢰구간 도출이 가능하다. 바로 이 기능, 표본분산을 보고 모분산을 추측하는 것이 카이 제곱 분포의 주요한 용도이다.
{{{#!folding [증명]
이하 [math(\displaystyle\sum_{k=1}^n)]를 [math(\displaystyle\sum)]로 생략하여 쓴다.| [math(\begin{aligned}\displaystyle\sum(X_i-\mu)^2&=\sum[(X_i-\bar X)+({\bar X}-\mu) ]^2\\&=\sum(X_i-{\bar X})^2+\sum({\bar X}-\mu)^2+2(\bar X-\mu)\sum(X_i-\bar X)\\&=(n-1)\dfrac{\displaystyle\sum(X_i-{\bar X})^2}{n-1}+n(\bar X-\mu)^2+2(\bar X-\mu)\sum(X_i-\bar X)\\&=(n-1)s^2+n(\bar X-\mu)^2\\(&\because\sum(X_i-\bar X)=0\textsf{\footnotesize{(편차의 합)}}) \end{aligned})] |
[math(\dfrac{\sum(X_i-\mu)^2}{\sigma^2}=\dfrac{(n-1)s^2}{\sigma^2}+\dfrac{n(\bar X-\mu)^2}{\sigma^2})]
여기에서 카이 제곱 분포의 정의에 의하여 [math(\dfrac{\sum(X_i-\mu)^2}{\sigma^2})]은 자유도가 [math(n)]인 카이 제곱 분포를 따르고 [math(\dfrac{n(\bar X-\mu)^2}{\sigma^2})]은 자유도가 1인 카이 제곱 분포를 따르므로 [math(\dfrac{(n-1)s^2}{\sigma^2})]은 자유도가 [math(n-1)]인 카이 제곱 분포를 따른다.
[math(\therefore\dfrac{(n-1)s^2}{\sigma^2}\sim\chi^2_{n-1})]
}}}4. 적률생성함수
자유도가 [math(v)]인 카이 제곱 분포의 적률생성함수는 다음과 같다.[math(M(t)=(1-2t)^{-v/2})]
이를 통해 카이 제곱 분포의 평균과 분산을 다음과 같이 구할 수 있다.
| [math(\begin{aligned}M'(t)&=-\dfrac{v}2(-2)(1-2t)^{-v/2-1}\quad\rightarrow\quad E(U)=M'(0)=v\\M(t)&=-\dfrac{v}2(-2)^2\left(-\dfrac{v}{2}-1\right)(1-2t)^{-v/2-2}\quad\rightarrow\quad E(U^2)=M(0)=v^2+2v\end{aligned})] |
[math(\therefore{\rm Var}(U)=E(U^2)-\{E(U)\}^2=2v)]
5. 활용
정규분포의 확률 변수를 제곱한 값에 대한 확률을 구할 때 요긴하게 쓴다.| [문제] [math(X\sim \mathcal{N}(4,\,9))]일 때, [math(P[-11.95<X^2-8X<10.1])]의 값을 구하시오. |
{{{#!folding [풀이]
| [math(\begin{aligned}P[-11.95<X^2-8X<10.1]&=P[4.05<(X-4)^2<26.1]\\&=P[0.45<\left(\dfrac{X-4}{\sqrt 9}\right)^{\!2}<2.9]\end{aligned})] [math(U=\left(\dfrac{X-4}{\sqrt 9}\right)^{\!2})]로 표준화된 '표준 정규 변수의 제곱'은 자유도가 1인 카이 제곱 분포를 따르므로 [math(P[0.45<U<2.9]\approx 0.41376)] | }}}6. 그래프 | | |
| 확률 밀도 함수 | 누적 분포 함수 |
매개변수: 자유도(자연수) k
카이 제곱 분포는 기본적으로 좌측에 치우친 분포인데, 자유도가 커질수록 대칭의 분포로 접근한다.
7. 범주형 자료 분석
범주형 자료 분석(categorical data analysis)에 쓴다.아래에 제시된 범주형 자료 분석의 검정통계량을 유도하기 위한 가정이 깨지는 경우가 많기 때문에 공부를 계속하다 보면 아래의 테크닉을 사용하는 빈도가 줄어든다. 하지만 통계학과 고학년이나 통계학과 및 다른 학과 대학원 레벨의 범주형 자료분석을 공부하려면 학부 회귀분석, 수리통계학에 대한 지식, 간단한 수학 테크닉이 기본적으로 필요하기 때문에
7.1. 적합도 검정
적합도 검정(goodness-of-fit test)은 관측 결과가 특정한 분포로부터의 관측값인지를 검정한다. 예를 들어, 멘델의 이론에 의하면 노란색 완두와 녹색 완두가 3:1로 나와야 한다. 교배 실험 결과 노란색 6,022개, 녹색 2,001개, 전체 8,023개로 나왔다면 이 실험 결과는 이론과 일치하는가 어긋나는가를 조사한다.7.2. 동질성 검정
동질성 검정(test of homogeneity)은 두 집단의 분포가 동일한지를 검정한다. 예를 들어, 남학생과 여학생의 성별에 따라 물리학, 화학, 생물학에 대한 선호도가 같은가 다른가를 검증하는데 사용할 수 있다.7.3. 독립성 검정
독립성 검정(test of independent)은 두 변수 사이에 관계가 있는지를 확인한다. 예를 들어, 성별이 특정 개인의 진보도(보수도)에 영향을 끼치는지 검정한다.8. 자유도
일반적으로 카이 제곱 분포의 자유도는 정의 '독립적인 표준 정규 분포의 제곱 합'에서 표준 정규 분포의 개수이다.사회과학의 학부수준의 조사방법론이나 통계학 개론에서 배우는 카이제곱 검정에서는 자료행렬의 행(row)과 열(column)의 숫자에서 1씩을 뺀 후 그 숫자를 곱함으로써, 즉, df = (r-1)(c-1)을 통해 자유도를 구할 수 있다. 이 때 하나의 행만 있을 경우 열의 숫자에서 1을 뺀 숫자가 자유도이다.
학부 선형대수학과 수리통계학 이상의 과정에서는 다변량정규분포를 따르는 확률벡터의 이차형식(quadratic form)으로 카이 제곱 분포를 나타내는 경우가 많다. 이 때는 일정한 행렬의 계수(rank)를 구함으로써 자유도를 구할 수 있다. 대부분의 경우 멱등행렬(idempotent)의 계수를 구하게 되는데, 멱등행렬에서는 대각합(trace)와 계수가 같다는 성질을 이용하면 손쉽게 자유도를 구할 수 있다.
9. 기타
예전에 카이 제곱 분포나 F 분포에 양방향 검정이 불가능하다는 설명도 있었다. 일반적으로는 카이 제곱 분포나 F분포에서 양방향 검정을 할 일이 딱히 없기는 하다. 하지만 이것이 '카이 제곱 분포나 F 분포에서 양방향 검정을 해서는 안된다'는 자명한 진리인 것은 아니다. 단일방향 검정을 할지 양방향 검정을 할지에 대해 알고 싶다면 최강기각력 검정을 공부해보자.카이 제곱 분포의 일반화된 버전으로 비중심 카이 제곱 분포가 있다. 이 경우에는 확률 변수의 기댓값이 0이라는 조건이 없어도 된다. 분산이 1이 아니더라도 확률 변수들이 독립적이기만 하면 적절한 선형변환을 통해 카이 제곱 분포를 따르는 확률 변수를 만들 수 있다. 또한 표준 정규 분포를 따르지 않는 확률 변수들도 정규분포를 따른다면 적절한 선형변환을 통해서 비중심 카이 제곱 분포를 따르는 확률 변수를 만들 수 있다.
t 분포와 F 분포는 카이제곱 분포와 표준 정규 분포를 이용해 정의한다. 따라서 카이 제곱 분포를 다루는 연습을 많이 해두면 t 분포와 F 분포를 좀 더 쉽고 깊게 이해할 수 있다.
10. 여담
사회과학 조사방법론 책에서는 흔히 O는 관찰 빈도, E는 기대 빈도에 대해[math(\displaystyle χ^2 = \sum {(O-E)^2 \over E} )]
와 같은 표현을 쓴다. 그러나 이러한 표현은 정확한 표현이 아니다. 카이 제곱 분포는 일반적으로 앞서 말한 것처럼 '독립적인 표준 정규 분포 제곱의 합'으로 정의하거나 '감마분포의 특이한 경우'로 정의한다. 그런데 [math( χ^2 = \sum {(O-E)^2 \over E} )]는 마치 카이 제곱 분포의 정의가 [math( \sum {(O-E)^2 \over E} )]인 것으로 사람을 오도할 수 있기 때문이다. 이러한 점에서 볼 때 좀 더 정확한 표현은 귀무가설 하에서의 검정통계량 [math(\displaystyle \sum {(O-E)^2 \over E} \sim χ^2(k), \qquad )] (단 k는 자유도)이다.
11. 관련 문서
[1] 이 때의 0은 영벡터, I는 항등행렬이다.[2] 정규 분포 확률벡터의 X의 기댓값이 영벡터라는 것은 개별 확률 변수의 기댓값이 0이라는 것이다. 그리고 항등행렬은 대각원소가 1이기 때문에 정규분포 확률벡터의 공분산 행렬이 항등행렬이라는 것은 개별 정규분포의 분산이 1이라는 것이다. 즉 개별 정규 분포들은 표준 정규 분포라는 것을 의미한다. 또한 항등행렬의 비대각원소가 0이기 때문에 임의의 두 정규분포의 공분산이 0이라는 것을 의미한다. 그런데 정규분포에서는 공분산이 0이라는 조건과 독립이라는 조건이 동치이다. (일반적으로는 독립이 '공분산 = 0'보다 더 강한 조건이다.) 이러한 점을 종합하면 y ~ N(0, I)는 '독립적인 표준 정규 분포들을 모은 벡터'를 의미한다는 것을 알 수 있다.[3] 5%가 일반적이긴 하지만 이는 개별 세부전공에 따라 다를 수 있다.[4] [math(E({Z_i}^4) = \displaystyle \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty} x^4e^{-\frac{x^2}{2}}\,{\rm d}x = -\frac{1}{\sqrt{2\pi}}x^3e^{-\frac{x^2}{2}} \biggr|_{-\infty}^{\infty} + 3 \displaystyle \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}}x^2e^{-\frac{x^2}{2}}\,{\rm d}x = 3(V(Z_i)+[{E(Z_i)}]^2) = 3)]