統(tǒng)計(jì)學(xué)習(xí)與人工神經(jīng)網(wǎng)絡(luò)研究

導(dǎo)語(yǔ)：統(tǒng)計(jì)學(xué)習(xí)與人工神經(jīng)網(wǎng)絡(luò)研究一文來(lái)源于網(wǎng)友上傳，不代表本站觀點(diǎn)，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

摘要：統(tǒng)計(jì)學(xué)習(xí)方法和人工神經(jīng)網(wǎng)絡(luò)都是在數(shù)據(jù)分類任務(wù)中的使用的模型。本文從技術(shù)的角度上總結(jié)分析這些模型的相同點(diǎn)與不同點(diǎn)，提供對(duì)這些模型分類性能的客觀分析。最后本文對(duì)如何更好地提升統(tǒng)計(jì)學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)的分類性能進(jìn)行分析總結(jié)。

關(guān)鍵詞：機(jī)器學(xué)習(xí)；神經(jīng)網(wǎng)絡(luò)；人工智能

1引言

預(yù)測(cè)模型在各種領(lǐng)域被用于分析和預(yù)測(cè)。預(yù)測(cè)模型都是從真實(shí)的數(shù)據(jù)樣本中建立的，這些樣本數(shù)據(jù)可以根據(jù)一系列規(guī)則進(jìn)行預(yù)處理和轉(zhuǎn)格式，普遍用于基于知識(shí)的專家系統(tǒng)，或者作為統(tǒng)計(jì)和機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集。目前在機(jī)器學(xué)習(xí)中較受歡迎的是統(tǒng)計(jì)學(xué)習(xí)方法[1-3]和人工神經(jīng)網(wǎng)路[4,5]。雖然這兩種模型分別來(lái)自于統(tǒng)計(jì)學(xué)和計(jì)算機(jī)學(xué)，但同時(shí)也具有一定的相似性。在本文我們給出了統(tǒng)計(jì)學(xué)習(xí)方法和人工神經(jīng)網(wǎng)絡(luò)的在模式統(tǒng)計(jì)識(shí)別中共同點(diǎn)，并且說(shuō)明為何神經(jīng)網(wǎng)絡(luò)可以看做是統(tǒng)計(jì)學(xué)習(xí)的總結(jié)。目前預(yù)測(cè)模型算法已經(jīng)有不少現(xiàn)成的實(shí)現(xiàn)，既有免費(fèi)的也有商業(yè)的軟件可用于測(cè)試。通過(guò)測(cè)試發(fā)現(xiàn)所獲取的結(jié)果主要依賴于三個(gè)因素：模型構(gòu)建的數(shù)據(jù)集的質(zhì)量、所調(diào)整的模型參數(shù)和用于計(jì)算模型處理結(jié)果的評(píng)價(jià)標(biāo)準(zhǔn)。在總結(jié)中，我們指出判斷這些預(yù)測(cè)模型測(cè)試結(jié)果的好壞所影響的因素。

2統(tǒng)計(jì)學(xué)習(xí)中的典型算法

支持向量機(jī)和k近鄰都是統(tǒng)計(jì)學(xué)習(xí)中的典型算法。支持向量機(jī)是從統(tǒng)計(jì)學(xué)習(xí)理論思想的一種實(shí)現(xiàn)，其工作是從數(shù)據(jù)集中建立具有一致性的評(píng)價(jià)器。支持向量機(jī)關(guān)系的問(wèn)題是：一個(gè)模型如何根據(jù)僅僅給出的特征集和訓(xùn)練數(shù)據(jù)集在未知的數(shù)據(jù)集中進(jìn)行預(yù)測(cè)？在算法上，支持向量機(jī)通過(guò)解決約束二次優(yōu)化問(wèn)題在數(shù)據(jù)集中建立最佳的分界線。通過(guò)使用不同的核心函數(shù)，可以使模型包含不同程度的非線性和靈活性。因?yàn)樗麄兛梢詮牟煌母呒?jí)統(tǒng)計(jì)思想中衍生出來(lái)，并且在模型計(jì)算時(shí)不會(huì)出現(xiàn)統(tǒng)計(jì)錯(cuò)誤，因此支持向量機(jī)在過(guò)去的幾年都引起了大量的研究者的興趣。支持向量機(jī)的劣勢(shì)在于分類的是純粹的二分法，不會(huì)給出潛在的其他類別。K近鄰算法與其他方法不同的是k近鄰算法把數(shù)據(jù)直接用于分類，而且并不需要預(yù)先構(gòu)建模型。這樣便不需要考慮模型構(gòu)建的細(xì)節(jié)，并且在算法中需要考慮調(diào)整的參數(shù)只有k，其中k是在評(píng)估類別時(shí)候需要包含的近鄰的數(shù)量：p(y|x)的計(jì)算值是在x的k近鄰中屬于y類別的成員數(shù)量的比值。通過(guò)改變k，模型的靈活性可以相對(duì)提高和降低。k近鄰與其他算法相比的優(yōu)勢(shì)在于近鄰可以提供分類結(jié)果的解釋，在黑盒模型不足的時(shí)，這種基于實(shí)例的解釋更具有優(yōu)勢(shì)。而k近鄰的主要缺點(diǎn)在于近鄰的計(jì)算中：為了計(jì)算近鄰需要定義一個(gè)量度計(jì)算不同原子數(shù)據(jù)之間的距離。在大部分應(yīng)用領(lǐng)域中，如何這種方式定義的量度并不清晰，只能通過(guò)嘗試和失敗，根據(jù)相對(duì)重要的并不確定是否能反應(yīng)量度的數(shù)據(jù)來(lái)定義量度。

3人工神經(jīng)網(wǎng)絡(luò)與統(tǒng)計(jì)學(xué)習(xí)的對(duì)比總結(jié)

神經(jīng)網(wǎng)絡(luò)與統(tǒng)計(jì)學(xué)習(xí)方法不同的是神經(jīng)網(wǎng)絡(luò)需要進(jìn)行模型的計(jì)算。神經(jīng)網(wǎng)絡(luò)的主要識(shí)別過(guò)程包括兩個(gè)：訓(xùn)練模型和根據(jù)模型進(jìn)行預(yù)測(cè)。與其他機(jī)器學(xué)習(xí)方法不同的是，神經(jīng)網(wǎng)絡(luò)具有非常特別的結(jié)構(gòu)，在這個(gè)結(jié)構(gòu)中，有輸入層、輸出層和至少一個(gè)隱藏層。但與其他機(jī)器學(xué)習(xí)方法一樣的是：構(gòu)建模型的目的都是找出其參數(shù)的最佳值。絕大部分機(jī)器學(xué)習(xí)的算法都是使用梯度下降法把損失函數(shù)的結(jié)果最小化并且在每次迭代的過(guò)程都能找到更合適的參數(shù)值。神經(jīng)網(wǎng)絡(luò)最重要的組成部分是“神經(jīng)元”，每個(gè)神經(jīng)元可以看做是一個(gè)函數(shù)，可以向神經(jīng)元輸入數(shù)據(jù)，神經(jīng)元會(huì)輸出相應(yīng)結(jié)果，神經(jīng)網(wǎng)絡(luò)往往具有眾多神經(jīng)元。一種特殊情況是，當(dāng)人工神經(jīng)網(wǎng)絡(luò)只有一個(gè)“神經(jīng)元”，在這種情況下，神經(jīng)網(wǎng)絡(luò)與邏輯回歸算法是一樣的。

在應(yīng)用上，神經(jīng)網(wǎng)絡(luò)往往用于多類別分類問(wèn)題，例如給圖片根據(jù)數(shù)字、字母、人物、汽車等等進(jìn)行分類。而上述的支持向量機(jī)和k近鄰算法都只能進(jìn)行二值分類。

參考文獻(xiàn)：

[1]HearstMA,DumaisST,OsunaE,etal.Supportvectormachines[J].IEEEIntelligentSystemsandtheirapplications,1998,13(4):18-28.

[2]TaravatA,DelFrateF,CornaroC,etal.Neuralnetworksandsupportvectormachinealgorithmsforautomaticcloudclassificationofwhole-skyground-basedimages[J].IEEEGeoscienceandremotesensingletters,2015,12(3):666-670.

[3]WeinbergerKQ,BlitzerJ,SaulLK.Distancemetriclearningforlargemarginnearestneighborclassification[C]//Advancesinneuralinformationprocessingsystems.2006:1473-1480.

[4]WanEA.Neuralnetworkclassification:ABayesianinterpretation[J].IEEETransactionsonNeuralNetworks,1990,1(4):303-305.

[5]ZengD,LiuK,LaiS,etal.Relationclassificationviaconvolutionaldeepneuralnetwork[C]//ProceedingsofCOLING2014,the25thInternationalConferenceonComputationalLinguistics:TechnicalPapers.2014:2335-2344.

作者:李杰駿 單位:江門職業(yè)技術(shù)學(xué)院