[科普中國]-判別模型

判別模型是一種對(duì)未觀測(cè)數(shù)據(jù)y與已觀測(cè)數(shù)據(jù)x之間關(guān)系進(jìn)行建模的方法，直接對(duì)條件概率p(y|x;θ)建模。

簡(jiǎn)介在機(jī)器學(xué)習(xí)領(lǐng)域判別模型是一種對(duì)未知數(shù)據(jù) y 與已知數(shù)據(jù) x 之間關(guān)系進(jìn)行建模的方法。判別模型是一種基于概率理論的方法。已知輸入變量 x ，判別模型通過構(gòu)建條件概率分布 P(y|x) 預(yù)測(cè) y 。1

定義在概率框架內(nèi)，已知輸入變量x，判別模型通過求解條件概率分布P(y|x)預(yù)測(cè)y。

常見的判別式模型有線性回歸模型、線性判別分析、支持向量機(jī)SVM、神經(jīng)網(wǎng)絡(luò)等。

與生成模型不同，判別模型不考慮x與y間的聯(lián)合分布。但對(duì)于諸如分類和回歸問題，由于不考慮聯(lián)合概率分布，采用判別模型可以取得更好的效果。另一方面，生成模型在刻畫復(fù)雜學(xué)習(xí)任務(wù)中的依賴關(guān)系方面較判別模型更加靈活。

大部分判別模型本身是監(jiān)督學(xué)習(xí)模型，不易擴(kuò)展用于非監(jiān)督學(xué)習(xí)過程。具體應(yīng)用的特點(diǎn)最終決定判別模型和生成模型的適用性。1

種類邏輯回歸

線性回歸

支持向量機(jī)

提升方法

條件隨機(jī)場(chǎng)

人工神經(jīng)網(wǎng)絡(luò)

隨機(jī)森林

感知器

生成模型在概率統(tǒng)計(jì)理論中,生成模型是指能夠隨機(jī)生成觀測(cè)數(shù)據(jù)的模型，尤其是在給定某些隱含參數(shù)的條件下。它給觀測(cè)值和標(biāo)注數(shù)據(jù)序列指定一個(gè)聯(lián)合概率分布。在機(jī)器學(xué)習(xí)中，生成模型可以用來直接對(duì)數(shù)據(jù)建模（例如根據(jù)某個(gè)變量的概率密度函數(shù)進(jìn)行數(shù)據(jù)采樣），也可以用來建立變量間的條件概率分布。條件概率分布可以由生成模型根據(jù)貝葉斯定理形成。

香農(nóng)(1948) 給出了有一個(gè)英語雙詞頻率表生成句子的例子?？梢陨扇纭皉epresenting and speedily is an good”這種句子。一開始并不能生成正確的英文句子，但隨著詞頻表由雙詞擴(kuò)大為三詞甚至多詞，生成的句子也就慢慢的成型了。

生成模型的定義與判別模型相對(duì)應(yīng)：生成模型是所有變量的全概率模型，而判別模型是在給定觀測(cè)變量值前提下目標(biāo)變量條件概率模型。因此生成模型能夠用于模擬（即生成）模型中任意變量的分布情況，而判別模型只能根據(jù)觀測(cè)變量得到目標(biāo)變量的采樣。判別模型不對(duì)觀測(cè)變量的分布建模，因此它不能夠表達(dá)觀測(cè)變量與目標(biāo)變量之間更復(fù)雜的關(guān)系。因此，生成模型更適用于無監(jiān)督的任務(wù)，如分類和聚類。

典型的生成模型包括:

高斯混合模型和其他混合模型

隱馬爾可夫模型

隨機(jī)上下文無關(guān)文法

樸素貝葉斯分類器

AODE分類器

潛在狄利克雷分配模型

受限玻爾茲曼機(jī)

如果觀測(cè)數(shù)據(jù)是由生成模型中采樣的，那么最大化數(shù)據(jù)似然概率是一個(gè)常見的方法。但是，大部分統(tǒng)計(jì)模型只是近似于真實(shí)分布，如果任務(wù)的目標(biāo)是在已知一部分變量的值的條件下，對(duì)另一部分變量的推斷，那么可以認(rèn)為這種模型近似造成了一些對(duì)于當(dāng)前任務(wù)來說不必要的假設(shè)。在這種情況下，使用判別模型對(duì)條件概率函數(shù)建模可能更準(zhǔn)確，盡管具體的應(yīng)用細(xì)節(jié)會(huì)最終決定哪種方法更為適用。2

本詞條內(nèi)容貢獻(xiàn)者為:

尹維龍 - 副教授 - 哈爾濱工業(yè)大學(xué)