| 통계학 Statistics | |||
| {{{#!wiki style="margin:0 -10px -5px; min-height:calc(1.5em + 5px); word-break: keep-all" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin:-5px -1px -11px" | <colbgcolor=#4d4d4d><colcolor=#fff> 수리통계학 | 기반 | 실해석학 (측도론) · 선형대수학 · 이산수학 |
| 확률론 | 사건 · 가능성 · 확률 변수 · 확률 분포 (표본 분포 · 정규 분포 · 이항 분포 · 푸아송 분포 · 카이제곱분포 · t분포 · Z분포 · F-분포 · 결합확률분포) · 확률밀도함수 · 확률질량함수 · 조건부확률 · 조건부기댓값 · 조건부분산 · 전체 확률의 법칙 · 베이즈 정리 · 도박사의 오류 · 도박꾼의 파산 · 몬티 홀 문제 · 뷔퐁의 바늘 · 마르코프 부등식 · 체비쇼프 부등식 · 큰 수의 법칙 (무한 원숭이 정리) · 중심극한정리 · 벤포드의 법칙 | ||
| 통계량 | 평균 (제곱평균제곱근 · 산술 평균 · 기하 평균 · 조화 평균 · 멱평균 · 대수 평균) · 기댓값 · 편차 (절대 편차 · 표준 편차) · 분산 (공분산) · 결정계수 · 변동계수 · 상관계수 · 대푯값 · 자유도 | ||
| 추론통계학 | 가설 · 변인 · 추정량 · 점추정 · 신뢰 구간 · 상관관계와 인과관계 · 실험통계학 · p-해킹 · 통계의 함정 · 그레인저 인과관계 · 신뢰도와 타당도 | ||
| 통계적 방법 | 회귀 분석 · 최소제곱법 · 분산 분석 · 주성분 분석 (요인 분석) · 시계열 분석 · 패널 분석 · 2SLS · 생존 분석 · GARCH · 비모수통계학 · 준모수통계학 · 기계학습 (군집 분석 · 분류 분석) · 위상 데이터분석 · 외삽법 · 메타 분석 · 모델링 (구조방정식) | ||
| 기술통계학 · 자료 시각화 | 도표 (그림그래프 · 막대그래프 · 선 그래프 · 원 그래프 · 상자 수염 그림 · 줄기와 잎 그림 · 산포도 · 산점도 · 히스토그램 · 도수분포표) · 그래프 왜곡 · 이상점 | }}}}}}}}} | |
1. 개요
確率質量函數 / probability mass function이산 확률 변수를 나타내는 확률 함수. 추후 이산 확률 변수는 전공 수준 확률론에서 연속성 개념을 적용한 연속 확률 변수로 나타나는 확률 밀도 함수로 일반화된다.
2. 정의
[math( f_{X}(x) = P(X=x) )]
이는 함수 [math(f_{X})]가 모든 실수 [math(x)]를 확률 [math( P(X=x) )]에 곧이곧대로 대응시킨다는 뜻이다.3. 베르누이 시행
베르누이 시행으로 잘 알려진 이항 분포는 이산 확률분포의 특수한 경우이자 그 실례의 (연속확률분포같은)응용에서 매우 전형적인 예이다. 이는 포아송 분포(특정 조건에서)나 정규 분포(가우스 분포)와 같은 연속 분포로 변환할 수 있는 구체적인 사례에서 그 유용성이 표준화(standardization)를 통해 잘 나타난다.3.1. 베르누이 시행
다음을 조건으로 내걸면(1)결과는 두 가지뿐: 성공(Success) 또는 실패(Failure)
예: 동전을 던졌을 때 앞면(성공)과 뒷면(실패)
(2)성공 확률이 일정함: 각 시행에서 성공할 확률 p는 고정되어 있으며 변하지 않는다.
따라서 실패할 확률은 [math(1 - p)]
(3)독립성: 각 시행은 독립적이며, 이전 또는 이후 시행의 결과에 영향을 받지 않는다.
이러한 조건으로부터 P(성공) = p 이고 P(실패) = 1-p 가 된다.예: 동전을 던졌을 때 앞면(성공)과 뒷면(실패)
(2)성공 확률이 일정함: 각 시행에서 성공할 확률 p는 고정되어 있으며 변하지 않는다.
따라서 실패할 확률은 [math(1 - p)]
(3)독립성: 각 시행은 독립적이며, 이전 또는 이후 시행의 결과에 영향을 받지 않는다.
이처럼 성공(Success)과 실패(Failure)라는 두 가지 결과(Binary outcomes)만을 다루는 상황은 결국 S(성공)과 F(실패)라는 단 두 가지의 변수만이 다루어진다는 것을 전제로하며 이는 곧 바꾸어말하면 베르누이 시행의 반복자체가 S와 F의 2개의 결과만을 반복적으로 보여주는 이항(확률)분포(二項分布,Binomial Distribution)가 실현됨을 보여준다.
따라서 베르누이 시행 S(p)와 F(1-p)를 반복해보면 이항확률분포의 수식중 하나인 베르누이 곱 항을 조사할 수 있다.
[math( p^{x}(1-p)^{n-x} )] 을 얻을수 있다.
3.2. 이항 확률 분포
[math(이항 확률 분포(P) = \left(조합 항 \right)\left(베르누이 곱 항 \right))][math(P(X=x) = \left( {}_nC_{x}\right)\left( p^{x}(1-p)^{n-x} \right))]
[math(P(x) = \left(\frac{n!}{x!(n-x)!}\right)\left( p^{x}(1-p)^{n-x} \right))]
3.2.1. PMF 형태
이항 확률 분포의 PMF 형태[math(P(x) = \displaystyle\binom{n}{x} p^{x}(1-p)^{n-x} \rightarrow PMF)]
3.3. 로그 와 지수 표현
[math(P(X=x) = \displaystyle\binom{n}{x} p^{x}(1-p)^{n-x} )][math(log P(X=x) = log\left(\displaystyle\binom{n}{x} p^{x}(1-p)^{n-x} \right) )]
[math(= log\displaystyle\binom{n}{x} +x \log p +(n-x)log(1-p) )]
3.3.1. 스털링 근사
[math( n! \approx \sqrt{2\pi n} \left( \dfrac{n}{e} \right)^{\!n} )][math( \displaystyle\binom{n}{x} = \frac{n!}{x!(n-x)!}= \dfrac{\sqrt{2\pi n} \left( \dfrac{n}{e} \right)^{\!n}}{\sqrt{2\pi x} \left( \dfrac{x}{e} \right)^{x} \sqrt{2\pi (n-x)} \left( \dfrac{n-x}{e} \right)^{n-x} } )]
[math( \displaystyle\binom{n}{x} = \dfrac{1}{\sqrt{2\pi (n-x)\dfrac{x}{n}}} \dfrac{\left( \dfrac{n}{e} \right)^{n}}{\left( \dfrac{x}{e} \right)^{x} \left( \dfrac{(n-x)}{e} \right)^{(n-x)}} )]
[math( \log\displaystyle\binom{n}{x} = \log\left( \dfrac{1}{\sqrt{2\pi (n-x)\dfrac{x}{n}}} \dfrac{\left( \dfrac{n}{e} \right)^{n}}{\left( \dfrac{x}{e} \right)^{x} \left( \dfrac{(n-x)}{e} \right)^{(n-x)}} \right) )]
[math( = -\dfrac{1}{2}\log\left(2\pi (n-x)\dfrac{x}{n}\right) + (n \log n-n) - ((x \log x-x) +((n-x)\log(n-x)-(n-x)) ) )]
[math( = -\dfrac{1}{2}\log\left(2\pi (n-x)\dfrac{x}{n}\right) + n \log n - x \log x -(n-x)\log(n-x) )]
[math(log P(X=x) = log\displaystyle\binom{n}{x} +x \log p +(n-x)log(1-p) )]
[math( = -\dfrac{1}{2}\log\left(2\pi (n-x)\dfrac{x}{n}\right) + n \log n - x \log x -(n-x)\log(n-x)+x \log p +(n-x)log(1-p) )]
3.3.2. 상수항
스털링 근사 [math( \log x! \approx x \log x-x \quad )]-(1)테일러 급수 [math( \log (1+x) \approx x-\dfrac{x^2}{2} \quad )]-(2a)
테일러 급수 [math( \log (1-x) \approx -x-\dfrac{x^2}{2} \quad )]-(2b)
[math( log\displaystyle\binom{n}{x} = log\dfrac{n!}{x!(n-x)!} \quad )]-(3)
스털링 근사(1)를 가정하고 이를 (3)에 대입하면
[math( log\displaystyle\binom{n}{x} = (n\log n-n)-(x\log x-x)-((n-x)\log(n-x)- (n-x) ) )]
[math( log\displaystyle\binom{n}{x} = (n\log n)-n-(x\log x)+x-((n-x)\log(n-x))+ (n-x) )]
[math( log\displaystyle\binom{n}{x} = (n\log n)-(x\log x)-((n-x)\log(n-x)) -(n-x) +(n-x) )]
[math( log\displaystyle\binom{n}{x} = (n\log n)-(x\log x)-((n-x)\log(n-x)) )\quad )]-(4)
한편 [math( x \log x = x \log (x +np -np)\, )]이므로
[math( x \log x = x\left( log (np+(x-np)) \right) )]
[math( x \log x = x\left( log \left(\frac{np}{np}+\frac{(x-np)}{np} \right)\right) )]
[math( x \log x = x\left( log \left(1+\frac{(x-np)}{np} \right)\right) )]
테일러 급수(2a)를 가정하면
[math( x \log x = x \left( \dfrac{(x-np)}{np}-\dfrac{(x-np)^2}{2(np)^2} \right) )]
[math( n \log n = n \left(\dfrac{(n-np)}{np}-\dfrac{(n-np)^2}{2(np)^2} \right) )]
한편 [math( (n-x) \log (n-x) = (n-x) \log ((n-x)+np-np) )]
[math( = (n-x) \log (n-x+np-np) )]
[math( =(n-x) \log \left(n(1-p)-(x-np) \right) )]
[math( =(n-x) \log \left(\dfrac{n(1-p)}{n(1-p)}- \dfrac{(x-np)}{n(1-p)} \right) )]
[math( =(n-x) \log \left(1 - \dfrac{(x-np)}{n(1-p)} \right) )]
테일러 급수 (2b)를 가정하면
[math( (n-x) \log (n-x) = (n-x) \left( -\dfrac{(x-np)}{n(1-p)} -\dfrac{(x-np)^2}{2n^2(1-p)^2} \right) )]
[math( n \left(\dfrac{(n-np)}{np}-\dfrac{(n-np)^2}{2(np)^2} \right) -x \left( \dfrac{(x-np)}{np}-\dfrac{(x-np)^2}{2(np)^2} \right) - (n-x) \left( -\dfrac{(x-np)}{n(1-p)} -\dfrac{(x-np)^2}{2n^2(1-p)^2} \right) )]
[math(= \left(\dfrac{n(n-np)}{p}-\dfrac{n(n-np)^2}{2np^2} \right) -\left( \dfrac{x(x-np)}{np}-\dfrac{x(x-np)^2}{2(np)^2} \right) - n\left( -\dfrac{(x-np)}{n(1-p)} -\dfrac{(x-np)^2}{2n^2(1-p)^2} \right)+x\left( -\dfrac{(x-np)}{n(1-p)} -\dfrac{(x-np)^2}{2n^2(1-p)^2} \right) )]
[math( \left(\dfrac{n(n-np)}{p}-\dfrac{n(n-np)^2}{2np^2} \right) = A, \left( -\dfrac{x(x-np)}{np}+\dfrac{x(x-np)^2}{2(np)^2} \right) = B,)]
[math(+ \left( \dfrac{n(x-np)}{(1-p)} +\dfrac{n(x-np)^2}{2n(1-p)^2} \right) = C, +\left( -\dfrac{x(x-np)}{n(1-p)} -\dfrac{x(x-np)^2}{2n^2(1-p)^2} \right) = D)]
[math( A+B+C +D )]
[math( A = \left( \dfrac{n(n-np)}{np}-\dfrac{n(n-np)^2}{2(np)^2} \right) = \left( \dfrac{n(n-np)2(np)^2 - npn(n-np)^2}{2(np)^3} \right))]
[math( = \left( \dfrac{n(n-np)2(np) - n(n-np)^2}{2(np)^2} \right) = \left( \dfrac{(n-np)2(np) - (n-np)^2}{2np^2} \right) )]
[math( B = \left( -\dfrac{x(x-np)}{np}+\dfrac{x(x-np)^2}{2(np)^2} \right) = \left( \dfrac{-x(x-np)2(np)^2 + npx(x-np)^2}{2(np)^3} \right))]
[math( = \left( -\dfrac{x(x-np)2(np) - x(x-np)^2}{2(np)^2} \right) )]
[math(C = \left( \dfrac{n(x-np)}{(1-p)} +\dfrac{n(x-np)^2}{2n(1-p)^2} \right) = \left( \dfrac{n(x-np)2n(1-p)^2-(1-p)n(x-np)^2}{(1-p)2n(1-p)^2} \right) )]
[math( = \left( \dfrac{n(x-np)2n(1-p)-n(x-np)^2}{2n(1-p)^2} \right) = \left( \dfrac{(x-np)2n^3(1-p)-n^2(x-np)^2}{2n^2(1-p)^2} \right) )]
[math(D=\left( -\dfrac{x(x-np)}{n(1-p)} -\dfrac{x(x-np)^2}{2n^2(1-p)^2} \right) = \left( -\dfrac{x(x-np)2n^2(1-p)^2 -n(1-p)x(x-np)^2}{n(1-p)2n^2(1-p)^2} \right))]
[math( = \left( -\dfrac{x(x-np)2n(1-p) -x(x-np)^2}{2n^2(1-p)^2} \right))]
계속해서
[math( A+B = \left( \dfrac{n(n-np)2(np) - n(n-np)^2}{2(np)^2} \right) + \left( -\dfrac{x(x-np)2(np) - x(x-np)^2}{2(np)^2} \right))]
[math( = \left( \dfrac{n(n-np)2(np) - n(n-np)^2 - x(x-np)2(np) + x(x-np)^2}{2(np)^2 } \right) )]
[math( C +D = \left( \dfrac{(x-np)2n^3(1-p)-n^2(x-np)^2}{2n^2(1-p)^2} \right) + \left( -\dfrac{x(x-np)2n(1-p) -x(x-np)^2}{2n^2(1-p)^2} \right) )]
[math( = \left( \dfrac{(x-np)2n^3(1-p)-n^2(x-np)^2 - x(x-np)2n(1-p) +x(x-np)^2}{2n^2(1-p)^2} \right) )]
[math(A+B = \left( \dfrac{n(n-np)2(np) - n(n-np)^2 - x(x-np)2(np) + x(x-np)^2}{2(np)^2 } \right) )]
[math(C+D = \left( \dfrac{(x-np)2n^3(1-p)-n^2(x-np)^2 - x(x-np)2n(1-p) +x(x-np)^2}{2n^2(1-p)^2} \right) )]
[math( A+B+C+D = \left( \dfrac{n(n-np)2(np) - n(n-np)^2 - x(x-np)2(np) + x(x-np)^2}{2(np)^2 } \right) + \left( \dfrac{(x-np)2n^3(1-p)-n^2(x-np)^2 - x(x-np)2n(1-p) +x(x-np)^2}{2n^2(1-p)^2} \right) )]
[math( = \dfrac{2n^2(1-p)^2\left( n(n-np)2(np) - n(n-np)^2 - x(x-np)2(np) + x(x-np)^2 \right) + 2(np)^2\left((x-np)2n^3(1-p)-n^2(x-np)^2 - x(x-np)2n(1-p) +x(x-np)^2 \right)}{2(np)^2 2n^2(1-p)^2} )]
[math( = \dfrac{(1-p)^2\left( n(n-np)2(np) - n(n-np)^2 - x(x-np)2(np) + x(x-np)^2 \right) + p^2\left((x-np)2n^3(1-p)-n^2(x-np)^2 - x(x-np)2n(1-p) +x(x-np)^2 \right)}{2(np)^2(1-p)^2} )]
3.3.3. 루트항
[math( \log\displaystyle\binom{n}{x} = \log\left(\left( \dfrac{1}{\sqrt{2\pi (n-x)\dfrac{x}{n}}} \right)\left( \dfrac{\left( \dfrac{n}{e} \right)^{n}}{\left( \dfrac{x}{e} \right)^{x} \left( \dfrac{(n-x)}{e} \right)^{(n-x)}}\right) \right) )][math( \log\displaystyle\binom{n}{x} = \log\left(루트항 \right) \left( 상수항 \right) )]
[math(\log\left( 루트항 \right) = -\dfrac{1}{2}\log\left(2\pi (n-x)\dfrac{x}{n}\right) )]
[math( = -\dfrac{1}{2}\log 2\pi -\dfrac{1}{2}\log (n-x)\dfrac{x}{n} )]
[math( = -\dfrac{1}{2}(파이(\pi) 항)-\dfrac{1}{2}(확률 항) )]
[math( -\dfrac{1}{2}(확률 항) = -\dfrac{1}{2}\log (n-x)\dfrac{x}{n} )]
[math( = -\dfrac{1}{2}\log (n-x)\dfrac{x}{n} )]
[math( = \left(-\dfrac{1}{2}\log (n-x)\right) -\left(\dfrac{1}{2}\log\dfrac{x}{n}\right) )]
[math( \left(-\dfrac{1}{2}\log (n-x)\right) \quad )]-(1)
[math( -\left(\dfrac{1}{2}\log\dfrac{x}{n}\right) \quad )]-(2)
[math( x = np + \epsilon \quad )]-(3)
(3)을 가정하면 [math( \epsilon)]은 [math(x)]가 평균[math(np )]에서 얼마나 벗어났는지를 표현할수있다. 변수[math( \epsilon)]이 작다(-)는 가정을 바탕으로 테일러 급수를 적용할수있다.
(3)을 (1)에 적용하면
[math( n-x = n- np - \epsilon = n(1-p)- \epsilon)]
따라서
[math( \left(-\dfrac{1}{2}\log (n-x)\right) = \left(-\dfrac{1}{2}\log n(1-p)- \epsilon\right) = -\dfrac{1}{2}\log \left( n(1-p)- \epsilon\right) )]
[math( = -\dfrac{1}{2}\log \left( n(1-p)\left(1- \dfrac{\epsilon}{ n(1-p)}\right) \right) = -\dfrac{1}{2}\log n(1-p) -\dfrac{1}{2}\log\left(1- \dfrac{\epsilon}{ n(1-p)}\right) )]
[math( \left(1- \dfrac{\epsilon}{ n(1-p)}\right) )]을 테일러 급수 [math( log(1-x) \approx -x )]로 처리하면
[math( =-\dfrac{1}{2}\log n(1-p) -\dfrac{1}{2}\left(- \dfrac{\epsilon}{ n(1-p)}\right) )]
[math( =-\dfrac{1}{2}\log n(1-p) + \dfrac{\epsilon}{ 2n(1-p)} \quad )]-(4)
(3)을 (2)에 적용하면
[math( -\left(\dfrac{1}{2}\log\dfrac{x}{n}\right) = -\dfrac{1}{2}\log\left(\dfrac{np+\epsilon}{n}\right) = -\dfrac{1}{2}\log\left(p+\dfrac{\epsilon}{n}\right) )]
[math( = -\dfrac{1}{2}\log p\left(1+\dfrac{\epsilon}{pn}\right) )]
테일러 급수로 처리하면
[math( = -\dfrac{1}{2}\log(p) -\dfrac{1}{2}\left( \dfrac{\epsilon}{pn}\right) = -\dfrac{1}{2}\log(p) -\left( \dfrac{\epsilon}{2pn}\right) \quad )]-(5)
(4)와(5)를 합치면
[math( =-\dfrac{1}{2}\log n(1-p) + \dfrac{\epsilon}{ 2n(1-p)} -\dfrac{1}{2}\log(p) -\left( \dfrac{\epsilon}{2pn}\right) )]
[math( =-\dfrac{1}{2}\log n(1-p) -\dfrac{1}{2}\log(p) + \dfrac{\epsilon}{ 2n(1-p)} -\left( \dfrac{\epsilon}{2pn}\right) )]
[math( =-\dfrac{1}{2}\log n(1-p)p + \epsilon\left(\dfrac{1}{2n(1-p)}- \dfrac{1}{2pn}\right) )]
[math( =-\dfrac{1}{2}\log pn(1-p) + \epsilon\left(\dfrac{ 2pn- 2n(1-p)}{2pn2n(1-p)}\right) )]
[math( =-\dfrac{1}{2}\log pn(1-p) + \epsilon\left(\dfrac{ p- (1-p)}{2pn(1-p)}\right) )]
[math( =-\dfrac{1}{2}\log pn(1-p) + \epsilon\left(\dfrac{ p-1+p}{2pn(1-p)}\right) )]
[math( =-\dfrac{1}{2}\log pn(1-p) + \epsilon\left(\dfrac{ 2p-1}{2pn(1-p)}\right) )]을 얻고
[math(\sqrt{np(1-p)} = \sigma(편차) )] 로 다루어볼수있다.
[math( =-\dfrac{1}{2}\log \sigma^2 + \left(\dfrac{ \epsilon(2p-1)}{2\sigma^2}\right) )]
[math( =-\dfrac{1}{2}\log \sigma^2 + \left(\dfrac{ (x-np)(2p-1)}{2\sigma^2}\right) \quad )]-(6)
확률항 (6)을 대입하면
[math(\log\left( 루트항 \right) = -\dfrac{1}{2}(파이 항)-\dfrac{1}{2}(확률 항) )]
[math(\log\left( 루트항 \right) =-\dfrac{1}{2}\log 2\pi -\dfrac{1}{2}\log \sigma^2 + \left(\dfrac{ (x-np)(2p-1)}{2\sigma^2}\right) )]
[math( e^{\log\left( 루트항 \right)} = e^{-\dfrac{1}{2}\log (2\pi \sigma^2) + \left(\dfrac{ (x-np)(2p-1)}{2\sigma^2}\right)} )]
[math( 루트항 = \dfrac{1}{\sqrt{2\pi \sigma^2}} e^{ \dfrac{ (x-np)(2p-1)}{2\sigma^2}}\quad )]
이어서 [math( np = \mu (평균) )]
[math( 루트항 = \dfrac{1}{\sqrt{2\pi \sigma^2}} e^{ \dfrac{ (x-\mu)(2p-1)}{2\sigma^2}} \quad )]-(7)을 조사하고
이항 분포의 PDF를 조사할수있다.
[math( PMF \rightarrow PDF =f(x) = \dfrac{1}{\sqrt{2\pi \sigma^2}} e^{-\dfrac{(x-\mu)(x-\mu)}{2\sigma^2}}\quad )]-(8)
(7)과 (8)을 비교함으로써 [math( (x-np)(2p-1) = -(x-\mu)^2 )]의 관계에서 [math( np = \mu (평균) )]과의 관계를 [math(p(확률) )]개념에서 추가적으로 조사할수있다.
이처럼 확률밀도함수(pdf)는 평균[math((\mu))],편차[math((\sigma) )],분산[math((\sigma^2) )]의 관계를 보여줄수있다.
4. 확률밀도함수(PDF)
이항 분포의 PMF를 막대그래프로 표현해볼때 [math(n)]을 계속해서 증가시켜봄으로서 막대의 갯수가 많아지고 또한 그 간격이 좁아지며 전체적으로 막대그래프가 부드러운 곡선(PDF)으로 변화하는 과정에서 확률밀도함수(PDF)를 시각적으로 이해해볼 수 있다.따라서 이는 이산 확률 변수가 연속성 개념이 적용될때 연속 확률 변수로 나타나는 과정을 보여줄수 있다.
[math( PMF \rightarrow PDF =f(x) = \dfrac{1}{\sqrt{2\pi \sigma^2}} e^{\left(-\dfrac{(x-\mu)^2}{2\sigma^2}\right)} \biggl(+상수항 \biggr))]
5. 누적분포함수(CDF)
CDF(누적분포함수)도 일반적으로 PMF(확률질량함수)의 누적으로부터 확장될수 있다. 물론 PDF(확률밀도함수) 역시 이로부터 CDF(누적분포함수)를 얻을수 있다. PDF(확률밀도함수)와 CDF(누적분포함수)는 미적분관계로도 이해해볼 수 있다.6. 푸아송 분포
[math(P(X=x) = \dfrac{\lambda^x e^{-\lambda}}{x!} = PMF)]
[math(PDF = \dfrac{1}{\sqrt{2\pi\lambda}} e^{-\dfrac{(x-\lambda)^2}{2\lambda}} )]