2 분 소요

이번 가을 학기에 처음 들은 수업. 강의안 pdf 첨부할 것. 아마 jekyll엔 못 올릴 테니 깃허브에다 별도로 보관해놓자.

Sep 2(Tue)

확률론에 관하여

기존의 확률론은 빈도(경험)주의자(frequentist)에 의한 경험적 확률에 기반이었다. 왜 가위바위보의 승률이 33%인가? 이론적으로 그렇고, 무한히 많이 하다보면 33%에 수렴하니까.

근데 베이즈의 생각은 달랐다. 모든 경우의 수는 다 ‘확률적으로 가능’은 하다. 다만 확률이 매우 희박한 것일 뿐.

가위바위보의 승률이 33%라고? 누가 그러는가? 모든 확률은 믿음에 불과하고, 또 확률은 선험적이므로 앞에 무슨 일이 있냐에 따라 뒷사건의 확률도 바뀌게 된다. 이게 베이지안주의자(Bayesian)들의 주장이다.

현대의 수학 및 확률론에서는 ‘집합론’(Set Theory)라는 틀 안에서 이 일관적이고 논리적인 확률론을 다루고 있다.

표본 공간과 사건

확률은 무수히 많은 사건 중 한 사건에 대해 수치를 부여한것이다. 그런데 이 무수히 많은 사건, 즉 ‘무한 집합’은 정의되지 않는다.

조금 더 자세히 말하자면, 러셀의 역설(Russel’s Paradox)에 의해 “set of all sets”라는 set(집합)은 정의할 수 없다. (이를 해결하는 것이 ZFC 공리계이다.) 따라서 본 강의는 오직 표본 공간(Sample Space) 내의 사건(Event)에 대해서만 생각한다. 이때 사건은 표본 공간의 부분집합(subset)으로 정의한다. 즉 표본 공간, 혹은 실험(experiment)이란 무수히 많은 경우 중 내 관심사를 자그맣게 제한한 것이다.(narrow-down)

집합론

모든 집합 연산(set operations)은 합집합(union)과 여집합(complement)으로 유도할 수 있다. 또한 모호한 자연어도 집합론을 통해 엄밀한 description으로 끌어 내릴 수 있다.

참고로 교집합(intersection)은 드모르간에 여집합을 취하여 유도 가능하고, 차집합(difference)는 앞에서 증명한 교집합과 여집합을 함께 사용하여 유도할 수 있다. 이 외에도 서로소 집합(disjoint), 부분집합(subset), 서로소 합집합(disjoint union) 등이 정의된다.

Sep 4(Thu)

확률을 어떻게 정의하는가

1900년대 이전의 확률에 대한 정의는 우리가 고등학교에서 배운 내용이었다. 표본공간 S의 원소 개수로 사건 A의 원소 개수를 나누는 지극히 보편적인 방식. 그런데 이 Naive(애매모호)한 정의는 한계가 두 가지 존재했다.

첫째, 표본공간의 원소 개수로 나누다 보니, 표본공간이 무한한 경우는 고려할 수 없다.

둘째, 각 케이스의 발생 확률이 동일(equal likelihood)하다고 가정해야한다. 동일하지 않을 때는 설명할 수 없다.

따라서 이를 해결하기 위한 현대적이고 엄밀한 정의가 등장했으니, 그것이 콜모고로프의 공리이다(Axiom of Probability)

이 공리에서 확률은 함수로 정의된다. 표본공간 S에 속하는 사건 A를 입력받아 non-negative(0 이상의 실수) number를 반환하는 함수가 확률이 된다.

이때 확률은 두 가지 공리를 충족하는데

(Axiom 1: Unit measure) \(P(S)=1\) 표본공간의 확률은 1이다.

(Axiom 2: Sigma-additivity; 시그마 가법성) 셀 수 있으며 서로소 집합 관계인 사건들에 대하여 합사건의 확률과 확률의 합은 같다.

즉 \(P(\dot\cup_{i=1}^{\infty}A_i)=\sum_{i=1}^{\infty}P(A_i)\)

여기서 정말 많은 성질들이 증명되는데 이를 모두 증명해보겠다.

성질 증명
$$P(\varnothing)=0$$ $$S=S\dot\cup\varnothing$$에서 A2에 의해 $$P(S)=P(S)+P(\varnothing)$$이다. A1에 의해 $$1=1+P(\varnothing)$$이므로 $$\therefore P(\varnothing)=0$$
$$P(A)\in [0,1]$$ $$S=A\dot\cup(S-A)$$에서 A2에 의해 $$P(S)=P(A)+P(S-A)$$이다. A1에 의해 $$P(S)=1$$이고 P(S-A)는 확률이기에 nonnegative이므로 $$\therefore 0 \le P(A) \le 1$$
$$P(A^c)=1-P(A)$$ $$S=A\dot\cup A^c$$에서 A2에 의해 $$P(S)=P(A)+P(A^c)$$이다. A1에 의해 $$\therefore P(A^c)=1-P(A)$$
$$\text{If}\;A\subset B,\;\text{then}\;P(A)\le P(B)$$ $$A\subset B$$이므로 $$B=A\dot\cup(B-A)$$이다. A2에 의해 $$P(B)=P(A)+P(B-A)$$이므로 P(A)를 이항시키면 $$P(B)-P(A)=P(B-A)$$이다. 이때 확률은 nonnegative한 함수이므로 P(B-A)는 0보다 크거나 같다. $$\therefore P(A)\le P(B)$$
$$P(A\cup B)=P(A)+P(B)-P(A\cap B)$$ A2에 의해 $$P(A)=P(A-(A\cap B))+P(A\cap B)$$이고 $$P(B)=P(B-(A\cap B))+P(A\cap B)$$이다. 마찬가지로 A2에 의해 $$P(A\cup B)=P(A-(A\cap B))+P(B-(A\cap B))+P(A\cap B)$$이다. 이 세 식을 조합하면 $$\therefore P(A\cup B)=P(A)+P(B)-P(A\cap B)$$

자 여기서 Incursion-exclusion Theorem이 나오는데, 그냥 서로소 집합끼리는 무수히 더하고 빼는 것을 반복하여 원 집합을 만들 수 있다는 뜻이다.

de Montmort’s matching problem

간단히 설명하면 “카드가 무한장 있을 때 i번째 턴에 자연수 i가 적힌 카드를 뒤집을 확률”을 구하는 문제이다. 무한이니까 100%일 것 같다고? 아니라는 게 함정이다.

카드 n장에 대하여 i번째에 카드 i를 찾을 확률은 \(P(A_i)=\frac{(n-1)!}{n!}\)이므로, 이 사건이 전체 횟수 중 k번 발생한다면 확률은 \(P(\bigcap_{i=1}^{k}A_i)=\frac{(n-k)!}{n!}\)이다.

앞서 배운 Incursion-exclusion theorem을 활용하면

\[\begin{align} P(\bigcup_{i=1}^{k}A_i)&=\sum_{k=1}^{n}(-1)^{k+1}\binom{n}{k}P(\bigcap_{i=1}^{k}A_i) \\&= \sum_{k=1}^{n}(-1)^{k+1}\binom{n}{k}\frac{(n-k)!}{n!} \\&= \sum_{k=1}^{n}(-1)^{k+1}\frac{1}{k!} \\&= 1-e^{-1}\; \text{by Maclaurin's Series} \\&\approx 0.6321\end{align}\]

승률이 63%밖에 안 된다. 신기하네

출처: 확률및랜덤과정(COSE382) ㅈㅇㅈ 교수님

참고