不求甚解學經濟-一些簡單的概率論

信息設計學習筆記係列。

一部分基礎知識可見 不务正业学计量（一）。

鞅

一個隨機變量序列 $Y_{t}$ 被稱爲關於信號歷史 $h_{t}=(s_{1},...,s_{t-1})$ 的鞅，當且僅當下式滿足

$$\mathbb{E}[Y_{t+1};h_{t}]=Y_{t}$$

給定直到 t 期的信號歷史，對於第 t+1 期的隨機變量取值的期望就等於當前期的隨機變量取值。

例如，如果我們取逐步更新的信念這個隨機變量序列，那麽對於第 t+1 期信念 (對於 t 期來説，是後驗信念) 的期望就等於第 t 期信念 (對於 t 期來説，是先驗信念)，即 $\mathbb{E}[\mu_{t+1};h_{t}]=\mu_{t}$。

貝葉斯信念為鞅

對於任何一個世界狀態空間 $\mathscr{A}\subset\Theta$，取信念 $\mu_{t}=\text{Prob}(\theta\in\mathscr{A};h_{t})=\mathbb{E}(\mathscr{I}_{\mathscr{A}}(\theta))$，其中 $\mathscr{I}_{\mathscr{A}}(\theta)$ 是集合 $\mathscr{A}$ 的指示函數，$h_{t}=(s_{1},...,s_{t-1})$ 是信號歷史，則 $\mathbb{E}(\mu_{t+1};h_{t})=\mu_{t}$。

參與人知道，當新信息到來後，自己的信念也許會改變，但無法提前知道將會向哪個方向變化：信念變動的期望為零。如果他能提前獲知信念將會如何變化，他現在就會改變信念，而不會等到新信息到來以後再更新。

注意，一般來説以似然比或對數似然比性質表示的貝葉斯更新不具有鞅性質。

依概率收斂

給定概率空間 $(\Omega,\mathscr{F},p)$ 上的隨機變量 $X_{1},...,X_{m},...$，如果下式得到滿足，則稱 $X_{n}$ 依概率收斂到隨機變量 $X$

$$\forall\epsilon>0\text{, }p(\text{|}(X_{n}-X)\text{|}\geq 0)\rightarrow 0 \text{ as } n\rightarrow\infty$$

鞅收斂點定理 (弱版本)

如果 $X_{t}$ 序列是個鞅，并且是有界的即，$\exists M,\forall t$, $\text{|}X_{t}\text{|}< M<\infty$，則存在一個隨機變量 $X$，使得 $X_{n}$ 依概率收斂到 $X$。

貝葉斯信念的收斂

貝葉斯信念這個隨機變量序列是個鞅，并且信念作爲條件概率其取值範圍為 $[0,1]$，因此信念是有界鞅，進而信念是收斂的，儘管我們還不知道它將收斂到哪個極限信念。注意，這裏我們是説的具有 (貝葉斯) 理性的行爲人的信念會收斂，但如果是不具有理性的行爲人，比如依據適應性調整這種固定權重過程來更新信念的行爲人，其信念未必是收斂的。在賽侷理論中，理性通常是指貝葉斯理性，即在給定條件下選擇策略以最大化期望效用。

支撐對應的一些性質

給定可分可度量化空間 $X$，將其上配備 $\text{weak}^{\star}$ 拓撲以及 $\text{Borel}-\sigma$ 代數以及 Borel 概率測度，並將其上的 Borel 概率測度們構成的集合記爲 $\mathscr{P}(X)$，有時 (特別地，如果 $X$ 本身是個有限集的話) 也將 $X$ 上的 Borel 概率測度集記爲 $\Delta(X)$。對於某個 Borel 概率測度 $\mu\in\mathscr{P}$，$\lbrace x\in X:\mu{x}>0\rbrace$ 稱爲 $\mu$ 的支撐集，即取到它的概率嚴格為正的那些點的集合，並記爲 $\text{supp}(\mu)$，并將 $\mu:\Rightarrow\text{supp}(\mu)$ 稱爲支撐對應。

支撐對應是下半 (hemi) 連續的

證明：任取開集 $U\subset X$，并取 $x\in U\cap\text{supp}(\mu)$。待補充。

拆分概率测度

將某個概率測度拆分爲兩個概率測度的複賭。貝葉斯勸説就是在做拆分概率測度的事情，通過將一個 (非極點的) 先驗概率拆分成兩個 (或多個) 後驗概率的凸組合 (凸組合也可以視爲複賭，或後驗概率上的分佈，凸組合係數即爲某個後驗概率實現的概率)。

Polish 空間

給定一個拓撲空間 $(X,\tau)$，如果存在某個度量 $d$ 使得 $(X,d)$ 成爲完備的度量空間，并且度量 $d$ 所引致的拓撲恰好就是開頭給出的 $\tau$，那麽拓撲空間 $(X,\tau)$ 就被稱爲可完備度量化的。如果某個可分的拓撲空間 (即存在可數稠密子集的拓撲空間) 是可完備度量化的，那麽就稱它是 Polish 空間，使其成爲完備度量空間的度量所引致的拓撲 (恰好就是一開始給出的 $\tau$) 被稱爲 Polish 拓撲。

在 可測最大值定理 中我們要求的決策空間是可分可度量化空間，而 Polish 空間是要求更高的可分可完備度量化空間，所以可測最大值定理對於以 Polish 空間為決策空間的問題也是成立的��

Blackwell 定理

給定一個概率空間 $(\Omega,\mathscr{F},P)$ ，給定一個具有先驗分佈 $p\in\Delta(\mathbb{R})$ 的隨機變量 $Y$。

對於信號 $X:\Omega\rightarrow\mathbb{R}$ ，定義其所引致的後驗概率為 $\beta_{x}^{X}(A)=P(Y\in A:X=x)$，則對於所有的 $A\in\mathscr{F}$ ，都有

$$\int\beta_{X(\omega)}^{X}(A)dP(\omega)=p(A)$$

即後驗的期望等於先驗。因此，又稱後驗概率為 disintegrations。

給定信號。對於每個狀態 $\omega$，都有一個與之對應的後驗概率 $\omega\rightarrow\beta_{X(\omega)}^{X}(A)$。既然世界狀態 $\omega\in\Omega$ 們是隨機的，那麽後驗概率的分佈 $Q_{X}\in\Delta(\Delta(\mathbb{R}))$ 也是隨機的，後驗概率的分佈是世界狀態出現的隨機性叠加上所出現的(在當前給定的信號下)世界狀態所引致的後驗概率。并且，前述後驗的期望等於先驗的性質可以等價地表述爲

$$\int\beta(A) dQ_{X}(\beta)=p(A),\forall A\in\mathscr{F}$$

以信號為基礎的信息結構可以用在後驗信念上的分佈 $Q_{X}$ 來刻畫，其實現方式為 regular conditional probabilities。在 $\Delta(\mathbb{R})$ 上的 $\sigma$ 域可以有兩種等價的定義方式：1. 包含集合 $\lbrace Q:Q(E)\leq r \rbrace$ 們的最小的 $\sigma$ 域，其中 $E$ 為可測集 $E\subset\mathbb{R}$，$r\in\mathbb{R}$；2. 由 Prokhorov 開集生成的 $\sigma$ 域。

定義