[科普中國(guó)]-高斯過程

定義

高斯過程指的是一組隨機(jī)變量的集合，這個(gè)集合里面的任意有限個(gè)隨機(jī)變量都服從聯(lián)合高斯分布1。

性質(zhì)一個(gè)高斯過程完全由它的均值函數(shù)和協(xié)方差函數(shù)決定，只要均值函數(shù)m(x)和協(xié)方差函數(shù)k(x,x')確定了，這個(gè)高斯過程也就完全確定了。

高斯過程有很多與高斯變量類似的統(tǒng)計(jì)特征，如：

1. 高斯過程通過線性系統(tǒng)或高斯過程的線性組合仍為高斯型。

2. 如果高斯過程是廣義平穩(wěn)的，則等價(jià)于平穩(wěn)。

3. 如果高斯過程的時(shí)間進(jìn)程中兩個(gè)不同時(shí)刻的隨機(jī)變量不相關(guān)，則等價(jià)于統(tǒng)計(jì)獨(dú)立1。

4. 高斯過程的線性積分則為相應(yīng)的高斯隨機(jī)變量。

在通信系統(tǒng)中，電子器件內(nèi)部的自由電子的熱運(yùn)動(dòng)（熱噪聲），真空電子管的起伏發(fā)射和半導(dǎo)體中載流子的非均勻變化（又稱散彈噪聲，shot ），電源濾波不良的哼哼聲等，它們的統(tǒng)計(jì)特性基本上都是高斯分布，即高斯過程。

5、兩個(gè)高斯分布律的隨機(jī)變量的卷積是高斯分布律，它的均值和方差是原來兩個(gè)高斯分布律的均值和方差的代數(shù)和。

6、高斯過程的邊緣似然函數(shù)

7、高斯過程的條件概率公式

高斯過程的重要性1、廣泛性

中心極限定理：大量獨(dú)立的、均勻微小的隨機(jī)變量的總和近似地服從高斯分布。

例如，無線電設(shè)備中的熱噪聲（前置放大器）、通信信道中噪聲信號(hào)、大氣湍流、宇宙噪聲、維納噪聲（布朗運(yùn)動(dòng)）等等。

2、數(shù)學(xué)優(yōu)點(diǎn)

二階矩、廣義平穩(wěn)與狹義平穩(wěn)等價(jià)，高斯隨機(jī)過程通過線性系統(tǒng)還是高斯隨機(jī)過程。

應(yīng)用高斯過程將多元高斯分布擴(kuò)展到無限維度2。任意數(shù)據(jù)集中n個(gè)觀測(cè)量，y={y_{1},..,y_{n}}y=y1,..,yn都可以理解成從某個(gè)多元高斯分布中抽取的一個(gè)樣本。高斯過程最重要的應(yīng)用是解決回歸問題3。假設(shè)訓(xùn)練集數(shù)據(jù)為y，新數(shù)據(jù)為y*，那么我們可以根據(jù)高斯過程的性質(zhì)估計(jì)新數(shù)據(jù)的分布。

例子：假設(shè)我們有下圖的歷史數(shù)據(jù)：

我們要估計(jì)新的數(shù)據(jù)點(diǎn)x*=0.2的分布。根據(jù)上述過程，我們首先有6個(gè)觀測(cè)值y，分別是：

從誤差線得知\sigma_{n}=0.3，那么根據(jù)協(xié)方差公式，我們有：

根據(jù)高斯過程的條件概率公式，我們可以計(jì)算出新觀測(cè)點(diǎn)的均值與方差分別是0.95與0.21。即服從N（0.95，0.21）的高斯分布。