JCI: Wstęp do Rachunku Prawdopodobieństwa

Zasady zaliczania kursu

Ćwiczenia

Na ostatnich ćwiczeniach odbędzie się kolokwium zaliczeniowe. Dostaniecie do zrobienia 5 zadań. Za każde z nich będziecie mogli otrzymać do 6 punktów. Za aktywność można uzyskać dodatkowo do 20 punktów. Ocena końcowa z ćwiczeń będzie wystawiana za pomocą następującej tabelki:

Pkt	0..17	18..20	21..23	24..25	27..29	30..32	32..50
C	2.0	3.0	3.5	4.0	4.5	5.0	5.5

Uwaga: w uzgodnieniu ze studentami nastąpiła tutaj zmiana.

Literatura

Podstawowa
1. William Feller, Wstęp do rachunku prawdopodobieństwa. Część 1, PWN - BIBLIA
2. Patrick Billingsley, Prawdopodobieństwo i miara, PWN - porządna, trudna pozycja
Pomocnicza
1. F.M. Dekking, C. Kraaikamp, H.P. Lopuhaa, L.E. Meester, A Modern Introduction to Probability and Statistics. Understanding Why and How , Springer, 2005
2. Charles M. Grinstead, J. Laurie Snell, Introduction to Probability
Lista zadań
Pytania do mnie związane z kursem: Q&A

Zagadnienia omówione na wykładzie

22.02.2018. Wstęp

Pojęcia ciała zbiorów
Pojęcia $\sigma$-ciała zbiorów
$\sigma(\mathcal{S})$ = najmniejsze $\sigma$-ciało zbiorów zawierające $\mathcal{S}$.
$B(\RR^n) = \sigma(OPEN(\RR^n))$ - $\sigma$ ciało podzbiorów borelowskich $\RR^n$
Def: Przestrzeń probabilistyczna: $(\Omega,\mathcal{S},\Pr)$, gdzie $\mathcal{S}$ jest $\sigma$-ciałem podzbiorów $\Omega$, $\Pr:\mathcal{S} \to [0,1]$ oraz
1. $\Pr(\emptyset) = 0$
2. $\Pr(\Omega) = 1$
3. Jeśli $(A_n)$ są z $\mathcal{S}$ i są parami rozłączne, to $\Pr(\bigcup_n A_n) = \sum_n \Pr(A_n)$.
Własności
1. Jeśli $A\subseteq B$, to $\Pr(A) \leq \Pr(B)$
2. $\Pr(A^c) = 1 - \Pr(A)$
3. $\Pr(A\cup B) = \Pr(A) + \Pr(B) - \Pr(A\cap B)$
4. Jeśli $A_0 \subseteq A_1 \subseteq A_2 \subseteq \ldots$ są z ciała $\mathcal{S}$, to $\Pr(\bigcup_n A_n) = \lim_n \Pr(A_n)$.
Przestrzeń kombinatoryczna: taka przestrzeń $(\Omega,\mathcal{S},\Pr)$, że $\Omega$ jest zbiorem skończonym, $\mathcal{S} = P(\Omega)$ zaś $$\Pr(A) = \frac{|A|}{|\Omega|}$$
Przykład: $\Omega = \{1,2,\ldots,100\}$, $A=\{n\in\Omega: 2|n\}$; mamy $\Pr(A) = \frac{50}{100} = \frac12$
Przykład: $\Omega = \{1,2,\ldots,6\}^2$, $A=\{(x,y)\in\Omega: x+y=5\}$; mamy $\Pr(A) = \frac{4}{36} = \frac19$
Przykład: $\Omega = \{0,1\}^n$, $A_k=\{x\in\Omega: |\{i:x(i)=1\}|=k\}$; mamy $\Pr(A_k) = \binom{n}{k} \frac{1}{2^n}$
Przykład: Niech $\Omega = \{(x,y)\in\RR^2:x^2+y^2\leq 1\}$, $\mathcal{S} = B(\Omega)$, $\Pr(A) = \frac{pow(A)}{\pi}$.
Wtedy $\Pr( \{(x,y)\in\RR^2:x^2+y^2\leq (\frac12)^2\}) = \frac14$ oraz $\Pr(\{(0,0)\}) = 0$.

01.03.2018. Przestrzenie probabilistyczne

Wzór na prawdopodobieństwo całkowite: jeśli $\{A_1,\ldots,A_n\}$ jest rozbiciem $\Omega$ na zbiory z $\sigma$-ciała, to $\Pr(B) = \sum_{k=1}^{n} \Pr(B\cap A_i)$
Przestrzeń dyskretna: $\Omega$ - zbiór przeliczalny; $(p_\omega)_{\omega\in\Omega}$ ciąg nieujemnych liczb rzeczywistych takich, że $\sum_{\omega\in\Omega}p_\omega = 1$; dla $A\subseteq \Omega$ określamy $$\Pr(A) = \sum_{\omega\in A} p_\omega~.$$
Przykład: $\Omega = \NN$, $p_n = (\frac12)^{n+1}$; $A = \{2n: n\in\NN\}$. Wtedy $$ \Pr(A) = \sum_{n\in\NN}(\frac12)^{2n+1} = 2\sum_{n=0}^{\infty}\frac{1}{4^n} = 2\frac{1}{1-\frac14} = \frac23~. $$
Przykład przestrzeni: ustalamy funkcję $f:\RR\to [0,\infty)$ taką, że $\int_\RR f(x)dx = 1$. Dla $A \in B(\RR)$ określamy $$ \Pr(A) = \int_\RR f(x) \mathbf{1}_A(x) dx ~, $$ gdzie $$ \mathbf{1}_A(x) = \begin{cases} 1 &: x\in A\\ 0 &: x \notin A\end{cases}~. $$
Def. Zdarzenia $A,B\in \mathcal{S}$ są niezależne jeśli $\Pr(A\cap B) = \Pr(A)\cdot\Pr(B)$
Ważny przykład: $\Omega = [0,1]^2$, $\Pr(A)$ = miara Lebesgue'a zbioru $A$. Bierzemy odcinki $I$, $J$ o długościach $|I|=a$ i $|J| = b$. Kładziemy $A = I\times[0,1]$ oraz $B=[0,1]\times J$. Wtedy $\Pr(A) = a$, $\Pr(B) = b$ oraz $\Pr(A\cap B) = \Pr(I\times J) = a\cdot b = \Pr(A)\Pr(B)$.
Def. Zdarzenia $\{A_1,\ldots,A_n\}$ są niezależne jeśli dla dowolnych $1\leq i_1 \lt i_2 \lt \ldots \lt i_k \leq n$ mamy $$ \Pr(A_{i_1} \cap A_{i_2} \cap \ldots A_{i_k}) = \Pr(A_{i_1}) \cdot \Pr(A_{i_2}) \cdot \ldots \cdot \Pr(A_{i_k}) ~. $$
Przykład. $\Omega = \{0,1\}^n$, $\Pr$ = prawdopodobieństwo kombinatoryczne; $U_i = \{x\in\Omega: x_i=1\}$. Wtedy $\Pr(U_1) = \frac12$, $\Pr(U_1\cap U_2) = (\frac12)^2$, $\Pr(U_1\cap U_2\cap U_2) = (\frac12)^3$ itd. Rodzina $\{U_1,\ldots,U_n\}$ jest niezależna.

08.03.2018. Podstawowe rozkłady

Def. $X \sim Bin(n,p)$ jeśli $\Pr[X=k] = \binom{n}{k} p^k (1-p)^{n-k}$.
Tw. Jeśli $X \sim Bin(n,p)$ to $E(X) = n p$.

22.03.2018. Wartość oczekiwana

Def. $X \sim Geo(p)$ jeśli $\Pr[X=k] = (1-p)^{k-1}p$ (gdzie $p \in (0,1)$)
Tw. $X \sim Geo(p)$, to $E(X) = \frac{1}{p}$
Proste zmienne losowe: $X = \sum_n a_n \mathbb{1}_{A_n}$, gdzie $(A_n)$ jest rozbiciem przestrzeni na zbiory z $\sigma$ - ciała.
Def. $\E{\sum_n a_n \mathbb{1}_{A_n}} = \sum_n a_n \Pr(A_n)$.
Przybliżanie zmiennej losowej zmiennymi prostymi: $$X_n = \sum_{k} \frac{k}{n} \mathbb{1}_{\{\omega: \frac{k}{n}\leq X(\omega)\lt \frac{k+1}{n}\}}~.$$
Uwaga: $5+4+4+3+5+3+3+3+2+3$ = $1\cdot 2 + 4\cdot 3 + 2\cdot 4 + 2\cdot 5$.
Def. $\E{X} = \lim_n E(X_n)$.
Tw. $\E{\lambda X} = \lambda \E{X}$
Tw. $\E{X + Y} = \E{X} + \E{Y}$
Wskazówka: Jeśli $X = \sum_n a_n \mathbb{1}_{A_n}$ oraz $Y = \sum_n b_n \mathbb{1}_{B_n}$, to $X+Y = \sum_{n,m} (a_n+b_m) \mathbb{1}_{A_n\cap B_m}$.
Przykład: $n$ kul wpada niezależnie do $n$ urn; $L$ = liczba zajętych urn. Mamy $$ \E{L} = n\left(1 - \left(1-\frac1n\right)^n\right) \approx n\left(1-\frac1e\right)~. $$

05.04.2018. Dystrybuanta i podstawowe nierówności

Def. Dystrybuantą zmiennej losowej $X$ nazywamy funkcję $F_X$ zdefiniowaną wzorem $$ F_X(x) = \Pr[X \leq x] $$
Podstawowe własności dystrybuanty:
- $(x_1\leq x_2 \to F_X(x_1) \leq F_X(x_2)$
- $\lim_{x\to\infty} F_X(x) = 1$
- $\lim_{x\to-\infty} F_X(x) = 0$
- prawostronna ciągłość: $\lim_{x\to a+}F_X(x) = F_X(a)$
Wniosek. $\Pr[a\lt X \leq b] = F_X(b) - F_X(a)$
Tw. Jeśli $F_X$ jest różniczkowalna oraz $h$ jest funkcją ciągłą, to $$ \E{h(X)} = \int_{R} h(x) F_X'(x) dx~. $$ Funkcję $f_X(x) = F_X'(x)$ nazywamy gęstością zmiennej losowej.
Def. $X \sim Exp(\lambda)$ jeśli $\Pr[X\gt x] = e^{-\lambda x}$ ($\lambda \gt 0$)
Zajmujemy się zmienną $X \sim Exp(\lambda)$. Jej dystrybuanta $F_X(x) = 1 - e^{-\lambda x}$. Jej gęstość $f_X(x) = \lambda e^{\lambda x}$. Jej wartość oczekiwana: $$ \E{X} = \int_{0}^{\infty} x f_X(x) dx = \int_{0}^{\infty} x \lambda e^{-\lambda x} dx = \ldots = \frac{1}{\lambda} $$
Def. Wariancją zmiennej losowej $X$ nazywamy liczbę $$ \var(X) = \E{(X-\E{X})^2} $$
Tw. $\var{X} = \E{X^2} - \left(\E{X}\right)^2$
Zajmujemy się zmienną $X \sim Exp(\lambda)$. Mamy: $$ \E{X^2} = \int_{0}^{\infty} x^2 \lambda e^{-\lambda x} dx = \ldots = \frac{2}{\lambda^2}~, $$ więc $\var{X} = \frac{1}{\lambda^2}$
Twierdzenie (Nierówność Markowa). Jeśli $X\geq 0$ i $a \ge 0$ to $$\Pr[X\geq a] \leq \frac{\E{X}}{a} ~.$$
Twierdzenie (Nierówność Czebyszewa) Dla dowolnej zmiennej losowej $X$ mamy $$ \Pr[|X-\E{X}| \geq a] \leq \frac{\var{X}}{a^2}~. $$
Zastosowanie nierówności Czebyszewa do rozkładu dwumianowego.