1. MGF의 정의
MGF는 Moment Generating Function의 약자이다. 말 그대로 moment를 만드는 함수인데 이때 moment가 무엇일까? 물리학에서 등작하는 momentum이 아닌 통계학에서의 moment 는 random variable 의 expectation으로 정의하여 아래와 같다.
이제 MGF의 정의를 살펴보자. 스칼라 값일 경우 아래와 같고
벡터 공간일 경우 아래와 같다.
이 식을 가만 보면 Laplace transform과 같다는 것을 알 수 있는데 expectation을 integration으로 구해보자.
이렇게 된다. 그런데 이 식이 아주 익숙하다. 를 로 바꿔주기만 하면 바로 Laplace transform이 되기 때문이다.
2. MGF의 활용
MGF는 central limit theorem 증명에 활용된다. 예를 들어 모집단에서 표본을 매우 많이 뽑으면 그 분포는 normal distribution이 된다.
이를 이해하기 위해서는 MGF의 중요한 성질을 하나 알아야 한다. 그건 바로 Uniqueness Theorem으로, 두 random variable의 mgf가 같다면 그 두 random variable은 동일한 probability distribution을 따른다는 것이다. 이를 기억해서 아래 증명을 살펴보자.
Standardized sample mean은 이다. 이것의 MGF를 계산하면 이 되고 taylor series expansion를 통해 으로 구할 수 있고 여기에서 n을 로 보내면 가 된다. 이 값은 standard normal distribution의 MGF와 동일하므로 Standardized sample mean은 normal distribuion을 따름을 알 수 있다.
같은 방식으로 binary distribution을 계속 더해도, poisson을 계속 더해도, iid이면서 유한한 random variable 어떤 것을 더해도 n이 충분히 크다면 normal distribuion이 됨을 보일 수 있다.